额，淘宝的robots.txt [复制链接]
查看:134 | 回复:14

scand · 发表于 2013-5-15 23:10:24

http://www.taobao.com/robots.txt

http://www.baidu.com/s?wd=taobao

ph4ntasy · 发表于 2013-5-15 23:12:28

百度开始做有啊的时候还是之前就开始了貌似

baby · 发表于 2013-5-15 23:12:53

早在很久以前。。马云就说了。。不被百度收录了

l12ab · 发表于 2013-5-15 23:13:09

百度无视robots

scand · 发表于 2013-5-15 23:14:24

关键是这句：由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述

zcoo · 发表于 2013-5-15 23:14:29

百度无视robots

34beat · 发表于 2013-5-15 23:14:29

l12ab 发表于 2013-5-15 23:13

百度无视robots
Yahoo Google都這樣的,
你網站太大, 一樣收錄, 反正就是寫住因為rebot.txt限制, 就一樣會給你排上去, 始終你是大網站

rqliang · 发表于 2013-5-15 23:13:00

老马跟老李是仇人

莫桑比特 · 发表于 2013-5-15 23:24:29

百度根据锚文本判断不抓取内容

白小姐liceen · 发表于 2013-5-15 23:25:46

百度完全有根据robots爬行

这个是故意的他俩早就掐过了