2003年06月25日
蔵王 @ ウェブ
蔵王ってスパイダーが当サイトに時々来ているのですが、robots.txtの記述が無視されているらしい。Google以外は許可しない設定にしているのに、お構いなしのようです。大学が作るスパイダーって迷惑かけるモノが多くないか？大学だからとか学術研究だからって何やっても許されるモノではないと思うぞ！！robots.txtで拒否しているサイトはクロールしないようにするのがマナーじゃない？一応クレームを送りました。＜robots.txtの書き方を間違っていた。(^^;
閲覧数:
1541 /
アマゾン広告
この日記ページは閲覧数などの条件に応じて、閲覧制限を行っています。他からリンクしていただいても、そのリンクから辿った閲覧者が当ページの内容をご覧頂けない場合があります。ご了承下さい。
