百度和搜狗的蜘蛛这几天被打鸡血了？ [复制链接]
查看:59 | 回复:8

iske · 发表于 2011-4-17 17:07:43

之前发过一个帖子，还以为是被C了，用了论坛内某大侠的方法收集了下ip，发现95%的ip都是百度和搜狗的蜘蛛，最高的时候一分钟来了30多个ip爬，现在vps经常cpu100%占用，实在是鸭梨大啊～

lsylsy2 · 发表于 2011-4-17 17:08:41

咱以前每秒爬好几次呢……
就是不收录

iske · 发表于 2011-4-17 17:10:31

我现在的收录百度6w多，就是权重不咋样，收得多也没意思了。。。

wdlth · 发表于 2011-4-17 17:11:14

今天我也以为被D了，居然是SOSO的蜘蛛。

observer · 发表于 2011-4-17 17:15:55

搜索引擎都能弄到100%的CPU，这VPS得有多脆弱啊……

真实流量的话一个用户可能一秒钟就爆种10个以上链接的（js，css，ajax，图片神马的）

稀饭 · 发表于 2011-4-17 17:17:58

目前为止还没被蜘蛛爬挂过

ypandjp · 发表于 2011-4-17 17:28:32

先收在慢慢K

msxcms · 发表于 2011-4-17 17:59:26

百度还好，搜狗一直比较狠

Kokgog · 发表于 2011-4-17 17:59:39

谁也没雅虎狠.......