牛b防采集 [复制链接]
查看:177 | 回复:21

wmfy808 · 发表于 2011-9-13 19:25:19

还有人放违禁内容就等着他的域名被墙呢

somin · 发表于 2011-9-13 19:28:39

原帖由 kowtow01 于 2011-9-13 19:25 发表

还有人放违禁内容就等着他的域名被墙呢
嘿嘿！已经删了！150多m呢！搜索引擎不可能会收录，正常用户也不可能会打开！他用的是服务器采集，还是美国的，下载也就几分钟的事，不过分析的话，够他cpu受的，

hotdojo · 发表于 2011-9-13 20:08:58

这个方法给力。

greensnow · 发表于 2011-9-13 21:18:24

果然牛逼够狠

hnghng · 发表于 2011-9-13 21:33:24

开发采集引擎程序的时候就应该考虑到这个问题,
一般至少要有最大文件大小, 最大timeout, 最大redirect次数的设置

hnghng · 发表于 2011-9-13 21:51:14

原帖由 greensnow 于 2011-9-13 21:33 发表

开发采集引擎程序的时候就应该考虑到这个问题,
一般至少要有最大文件大小, 最大timeout, 最大redirect次数的设置
这个必须得

dianso · 发表于 2011-9-13 21:51:14

原帖由 greensnow 于 2011-9-13 21:33 发表

开发采集引擎程序的时候就应该考虑到这个问题,
一般至少要有最大文件大小, 最大timeout, 最大redirect次数的设置
这个必须得

飞天金猪 · 发表于 2011-9-13 22:12:41

浪费流量啊，人家下载你1000次就够你受了

东方星雨 · 发表于 2011-9-13 22:13:11

求地址围观原帖由 dianso 于 2011-9-13 22:12 发表

浪费流量啊，人家下载你1000次就够你受了
本来流量用不完！一个月有10t，宽带嘛，就更不用担心了，再说了，一个小时内，他不可能发现，至于最大最小，我没考虑过，下次放个无限循环下去

geyunbing · 发表于 2011-9-13 22:54:41

采集都是限制发布字节的超过5000字节直接帕斯