http://8310.teacup.com/clk/bbs
ページが見つかりません | teacup.
どうやら検索エンジンのロボットの一種みたいですね。海外サイトにはもっと詳しい説明があるみたいです
阻止には、.htaccessを使うとよいようです。
参考:ミケネコの htaccess リファレンス
どうもありがとうございます。早速やってみます
Alexa the Web Information Company
Alexaのサーチエンジン用の(crawl24-public.alexa.com)ロボットのようです。
フォーラムを幾つか読むとサイトの性格にも拠るのでしょうが利用を許しているサーバーさんの発言が目立ちます。
はっきり言ってムズイ(^^;サイトの性格って?
素人なので解んないです。でも、ありがとうございます。
Internet Archive
UAのia_archiver は上記Internet Archiveのロボットですね。
このサイトはロボットが巡回したWebサイトを保存しておき過去の情報として閲覧可能にする為に収集している物です。
ロボットといっても所詮プログラムなので、noindexなどの記述が有っても判断されなければそれまでです。
勉強になりました。でも、判断されないってなんでなのでしょう...ありがとうございます
http://e-words.jp/w/Internet20Archive.html
Internet Archiveとは 【インターネットアーカイブ】 - 意味/解説/説明/定義 : IT用語辞典
Internet Archive
の解説です。
じっくり見てみます。ありがとうございました
どうもありがとうございます。aki73ixさん
”robots” ”noindex,nofollow,noarchive”
してても、もってかれちゃってます。恐るべし