robotsテキストで使うUA一覧

2010/12/15

robots.txtの基本から。
「robot.txt」ではなくて「robots.txt」が正解で許可するときは「Allow」、禁止は「Disallow」。

Allow: /
# 「/」以下許可。
# Allowが使えるのgoogleだけかもしれない。使えない検索エンジンが存在する可能性アリ。

Disallow: /
# 「/」以下禁止。

Disallow:
# 「禁止するものが無い」→「すべて許可」になる。

ユーザーエージェント一覧

Google
Googlebot
Googleのモバイル検索
Googlebot-Mobile
Googleの画像検索
Googlebot-Image
AdSense用/Google
Mediapartners-Google
AdWords用/Google
Adsbot-Google
Yahooの検索
Slurp
Yahooイメージ検索
Yahoo-MMCrawler
MSN(Bing)の検索
msnbot
MSN picsearchの検索
psbot
Baidu(百度、バイドゥ)の検索
Baiduspider
Askの検索
Teoma
Naverの検索
Yeti
Cuilの検索
Twiceler
Dotbotの検索
DotBot

新着(ニュース関連以外)

2018-05-16
PHPで画像のヘッダ情報(?)の「Orientation」を元に画像回転させたい。
2018-03-05
Android Studioをインストール。エミュレータを軽くするトコまで終わらせたかったけど、挫折した。
2018-02-23
プッシュ通知について調べてた時にでてきたServiceWorker。そのServiceWorkerについてのメモ。
2017-12-13
jqueryで取得したDOM要素をオブジェクトじゃなくて、配列で受け取りたい
2017-11-30
Xampp+FuelPHP1.8をサーバーにupしたらエラーになった。