如何屏蔽蜘蛛？？ [复制链接]
查看:45 | 回复:5

IANA · 发表于 2011-3-6 17:47:17

如何屏蔽蜘蛛？？

如何从 CENTOS 系统上彻底屏蔽蜘蛛？比如百度蜘蛛。

不是从robots。txt 求解

IANA · 发表于 2011-3-6 17:47:42

或者nginx 如何设置规则

wdlth · 发表于 2011-3-6 17:55:50

判断User-agent

set $islyh 0;
if ( $http_user_agent ~ "^((.*BaiduSpider.*)|(.*Baiduspider.*))$" )
{
set $islhy 1;
proxy_pass http://kannimei.com;
}

[ 本帖最后由 wdlth 于 2011-3-6 18:14 编辑 ]

大飞机 · 发表于 2011-3-6 18:02:40

都高手，还有屏蔽ip

kzcooo · 发表于 2011-3-9 10:55:19

咱都是吸引蜘蛛的。。哎。。

fangxianzhong · 发表于 2011-3-9 13:04:37

分析搜索引擎，发现蜘蛛就封IP

如何屏蔽蜘蛛？？ [复制链接] 查看:45 | 回复:5

浏览过的版块

如何屏蔽蜘蛛？？ [复制链接]
查看:45 | 回复:5