找到谷歌源头了 [复制链接]
查看:155 | 回复:12

cgsyzdd · 发表于 2011-5-3 23:27:47

原帖由 aru 于 2011-5-3 14:03 发表

直接用robots.txt 不就完了么
封IP是下策
如果是用的多镜像呢？写到 robots 直接网站也挂了

cgsyzdd · 发表于 2011-5-3 23:28:13

原帖由 yim 于 2011-5-3 14:01 发表

哥被yahoo的蜘蛛爬死了，屏蔽之后，那速度哗啦啦的
yahoo不来我这。。。。

cgsyzdd · 发表于 2011-5-3 23:29:06

原帖由 wdlth 于 2011-5-3 08:28 发表

谷歌IP一堆，会换的。
这是谷歌在加利福尼亚州的全部ipv4地址了。