たまに www.kendomo.net へ SurveyBot/2.3 (Whois Source) というロボットが来る。 www 以外のサブドメインには来ない。リファラが http://www.whois.sc/ だったり、 http://www.whois.sc/kendomo.net だったりする。 whois ということは、私のドメインをねらっている奴 (そんな人いないと思うけど) が監視しているのか？しかも偽のリファラをつけていて気味が悪い。そんなわけでこのロボットは拒否していたのだが、 Google で調べたら 1 件目にこのロボットについてのページがに出た。別に怪しいものではないらしい。 Survey Bot - Monitoring Internet Statistics を簡単に要約。
- インターネット上の統計をモニタする。この情報は Whois Source の検索エンジンに使用する。
- robots.txt に従う。ロボットが記録するのはデフォルトドキュメントの title タグだけである。
http://www.whois.sc/ に続いてドメイン名を入力すると、そのサイトの概要とスクリーンショット、 whois の情報が表示される。例えば、 XREA だと http://www.whois.sc/www.xrea.com のようになる。 XREA を例に挙げたのは、日本語サイトかつ、次のようないろいろな情報が表示されたため。説明とは異なり、 title 以外に meta 要素の Keywords や Description も拾っている。 dmoz や Yahoo.com に登録されていれば、それらの URI や説明文なども表示されるようだ。 XREA の場合は、ユーザが作成したサブドメインのページが dmoz と Yahoo の登録情報として出てきた。なかなかおもしろいが、これが使えるのは Whois Source で扱っている .com、.net、.org、.info、.biz、.us ドメインだけ。
- Posted at 2004-01-26 22:19:42
- web
このエントリへのトラックバック
ｓｐａｍが増えたためトラックバック機能は停止中です。
このエントリへのコメント
ｓｐａｍが増えたためコメント機能は停止中です。
