立即注册 | 登录

Discuz! Board»论坛 › 主机综合交流 › 美国VPS综合讨论 › 万能的loc帮我写个robots.txt 吧

发新帖

万能的loc帮我写个robots.txt 吧 [复制链接]
查看:81 | 回复:9

闲推月下门

31 主题	687 回帖	1543 积分

积分: 1543

发消息

发表于 2012-10-3 11:26:40 | 显示全部楼层 |阅读模式

robots.txt
想要屏蔽所有 view-XXXXXXXXX.html 的页面被爬，怎么写？
求助

不是要屏目录的
www.xxx.com/view-XXXXXXXXX.html
XXX指任意字符，屏所有这类特征的链接

回复

7 主题	424 回帖	919 积分

积分: 919

发消息

发表于 2012-10-3 11:30:06 | 显示全部楼层

User-Agent: *
Disallow:/view-?.html

回复

41 主题	428 回帖	1035 积分

积分: 1035

发消息

发表于 2012-10-3 11:34:19 | 显示全部楼层

http://tool.chinaz.com/robots/

回复

236 主题	2186 回帖	5126 积分

积分: 5126

发消息

发表于 2012-10-3 11:37:14 | 显示全部楼层

楼主也是QQ秀？

回复

0 主题	187 回帖	390 积分

积分: 390

发消息

发表于 2012-10-3 11:37:42 | 显示全部楼层

GG的管理员工具里不是有？

回复

29 主题	1193 回帖	2531 积分

积分: 2531

发消息

发表于 2012-10-3 11:38:44 | 显示全部楼层

User-Agent: *
Disallow:/view-?.html
同二楼

回复

闲推月下门

31 主题	687 回帖	1543 积分

积分: 1543

发消息

楼主| 发表于 2012-10-3 11:42:47 | 显示全部楼层

看来2楼应该是正解了

回复

86 主题	607 回帖	1528 积分

积分: 1528

发消息

发表于 2012-10-3 11:48:40 | 显示全部楼层

2楼。

回复

23 主题	720 回帖	1551 积分

积分: 1551

发消息

发表于 2012-10-3 12:04:50 | 显示全部楼层

楼上都已经解答了~

回复

森林啪啪啪啪啪

0 主题	1 回帖	4 积分

积分: 4

发消息

发表于 2012-10-3 12:29:27 | 显示全部楼层

2L

回复

发新帖

论坛客服/商务合作/投诉举报:2171544 (QQ)
落伍者创建于2001/03/14,本站内容均为会员发表,并不代表落伍立场!
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论!
落伍官方微信：2030286 邮箱：(djfsys@gmail.com|tech@im286.com)
© 2001-2014

浙公网安备 33060302000191号

浙ICP备11034705号 BBS专项电子公告通信管[2010]226号
　落伍法律顾问: ITlaw-庄毅雄

Archiver|手机版|Discuz! X

GMT+8, 2026-7-25 19:49 , Processed in 0.015950 second(s), 3 queries , Gzip On, Redis On.

返回顶部