额，淘宝的robots.txt [复制链接]
查看:136 | 回复:14

一灰 · 发表于 2013-5-15 23:31:05

不抓取不等于不索引，只是索引库里是空数据，标题由外链的锚文本补充。

这个百度好像早一两年就讨论过了吧？

scand · 发表于 2013-5-15 23:57:32

一灰发表于 2013-5-16 00:34

不抓取不等于不索引，只是索引库里是空数据，标题由外链的锚文本补充。

这个百度好像早一两年就讨论过了吧 ...
额我还不晓得呢

sdgl212 · 发表于 2013-5-16 00:34:20

百度无视robots

qy117121 · 发表于 2013-5-16 01:07:29

早在很久以前。。马云就说了。。不被百度收录了