robotsテキストで使うUA一覧

2010/12/15

robots.txtの基本から。
「robot.txt」ではなくて「robots.txt」が正解で許可するときは「Allow」、禁止は「Disallow」。

Allow: /
# 「/」以下許可。
# Allowが使えるのgoogleだけかもしれない。使えない検索エンジンが存在する可能性アリ。

Disallow: /
# 「/」以下禁止。

Disallow:
# 「禁止するものが無い」→「すべて許可」になる。

ユーザーエージェント一覧

Google
Googlebot
Googleのモバイル検索
Googlebot-Mobile
Googleの画像検索
Googlebot-Image
AdSense用/Google
Mediapartners-Google
AdWords用/Google
Adsbot-Google
Yahooの検索
Slurp
Yahooイメージ検索
Yahoo-MMCrawler
MSN(Bing)の検索
msnbot
MSN picsearchの検索
psbot
Baidu(百度、バイドゥ)の検索
Baiduspider
Askの検索
Teoma
Naverの検索
Yeti
Cuilの検索
Twiceler
Dotbotの検索
DotBot

新着(ニュース関連以外)

2017-08-03
formのinputでmaxlengthを使うとFirefoxでバグってた。他のブラウザでも気づかずにバグってたかもしれない。
2017-07-19
折れ線グラフをもう少しゆるやかに・・・というか何というか・・・調べていくと「移動平均」っていう言葉にたどり着いた
2017-07-10
FuelPHPの1.8をダウンロードして使っていたらセッションが使えないということに気付いた。
2017-06-27
MACにWin10をインストールしてみた:再挑戦。
2017-06-25
「簡単」っていうヤツらが多いけど・・・難しいぞ。