robotsテキストで使うUA一覧
2010/12/15
robots.txtの基本から。
「robot.txt」ではなくて「robots.txt」が正解で許可するときは「Allow」、禁止は「Disallow」。
Allow: /
# 「/」以下許可。
# Allowが使えるのgoogleだけかもしれない。使えない検索エンジンが存在する可能性アリ。
# 「/」以下許可。
# Allowが使えるのgoogleだけかもしれない。使えない検索エンジンが存在する可能性アリ。
Disallow: /
# 「/」以下禁止。
Disallow:
# 「禁止するものが無い」→「すべて許可」になる。
ユーザーエージェント一覧
- Googlebot
- Googleのモバイル検索
- Googlebot-Mobile
- Googleの画像検索
- Googlebot-Image
- AdSense用/Google
- Mediapartners-Google
- AdWords用/Google
- Adsbot-Google
- Yahooの検索
- Slurp
- Yahooイメージ検索
- Yahoo-MMCrawler
- MSN（Bing）の検索
- msnbot
- MSN picsearchの検索
- psbot
- Baidu（百度、バイドゥ）の検索
- Baiduspider
- Askの検索
- Teoma
- Naverの検索
- Yeti
- Cuilの検索
- Twiceler
- Dotbotの検索
- DotBot