禁止bing蜘蛛访问,这样设置robots.txt对不对 [复制链接]
查看:74 | 回复:6

rightnow5 · 发表于 2012-3-20 10:02:00

禁止bing蜘蛛访问,这样设置robots.txt对不对
User-agent: *
Disallow: /admin/
User-agent: MSNbot
Disallow: /

MSN蜘蛛禁止访问所有目录,其他搜索引擎蜘蛛禁止访问admin文件夹

onesz · 发表于 2012-3-20 10:04:35

为什么要禁止bing呢？我都来不及叫蜘蛛来。

rightnow5 · 发表于 2012-3-20 10:08:57

onesz 发表于 2012-3-20 10:04

为什么要禁止bing呢？我都来不及叫蜘蛛来。
bing爬100万也不会来几个流量
蜘蛛20几个一直在爬 vps扛不住

loveminds · 发表于 2012-3-20 10:04:00

应该没错

老包子 · 发表于 2012-3-20 11:59:17

正确

满意沟通 · 发表于 2012-3-20 12:04:50

User-agent: bingbot
Disallow: /

再加一个

bing也流氓的 .htaccess再屏蔽一下

walkman660 · 发表于 2012-3-20 15:06:06

在线生成robots.txt
http://www.robotstxt.com.cn/