Slurp 系の検索エンジンがディレクトリ名のスラッシュを省く問題

404 Not Found になったリクエストを抽出してみると、ディレクトリ名で終わる URI に対して、スラッシュを省いたために起こったものが目に付いた。このサイトでは URI のスラッシュの有無を厳格に区別している。デフォルトの Apache と違い、ディレクトリ名にスラッシュをつけ忘れたのでリダイレクトさせるようなことはしない。具体的には次のとおり。

本来の URI

http://home.kendomo.net/board/decode/

誤った URI

http://home.kendomo.net/board/decode

後者だと 404 になる。この原因は Yahoo や MSN などの旧 Inktomi Slurp ベースの検索エンジンにある。これらの検索結果では、ディレクトリ名で終わる URI のスラッシュが省略されているため、そこからの訪問者が対象となる。クロール時にもなぜかどこからもリンクされていないはずのスラッシュ抜きでリクエストしているようだ。その際、スラッシュをつけないと 404 になることは認識しているはずなのだが。もっとも、代表的な Web サーバの標準状態ならこんな問題に遭遇することはないに違いない。それを前提に作られたシステムなのだろう。そうだとしても、なぜスラッシュを省略してしまうのだろうか。

このエントリへのトラックバック

ｓｐａｍが増えたためトラックバック機能は停止中です。

このエントリへのコメント

ｓｐａｍが増えたためコメント機能は停止中です。