dzx2.5怎么解决重复抓取页面问题？ [复制链接]
查看:32 | 回复:1

炮炮兵 · 发表于 2013-1-18 10:19:36

我最近做了个论坛，发现论坛的地址被蜘蛛重复抓取，这样对论坛的优化是致命的，为解决这个问题，我查了好多资料，最后跪求了一个半分钟就能解决问题的方法，现在分享给大家。。。

通过修改robots.txt把这样的页面屏蔽掉，我们在根目录里找到robots.txt文件，在最后加上Disallow: /?* 这个句即可解决问题。。
其他关于这方面的知识，参考http://www.fwqlt.com

bg7758 · 发表于 2013-1-18 11:59:52

我昨天都想到这个思路了居然没想到这一点

dzx2.5怎么解决重复抓取页面问题？ [复制链接] 查看:32 | 回复:1

浏览过的版块

dzx2.5怎么解决重复抓取页面问题？ [复制链接]
查看:32 | 回复:1