设为首页收藏本站

简体中文 繁體中文 English 日本語 Deutsch 한국 사람 بالعربية TÜRKÇE português คนไทย french

搜索
热搜: 活动 交友 discuz

爬虫需要稳定的代理,请大家支支招,谢谢了 [复制链接]
查看:129 | 回复:11

4

主题

20

回帖

68

积分

注册会员

积分
68
发表于 2010-4-2 11:15:53 | 显示全部楼层 |阅读模式
我主要用于爬取一些wiki 和 国内的一些论坛,不是攻击。但是这些论坛都限制同一ip,在时间内访问次数。

所以,我想到,可能需要大量的代理,而“代理中国”提供的那些代理很不稳定。所以我想自己搞一点。

请问,从国外的BURST类似的ips,买vps,在加上一些固定ip,譬如100个ip,能解决我的需求吗?我该如何操作?

请大家帮我提供一些解决方案吧。谢谢。

另外,我朋友能提供一个服务器暂用,光纤4兆,4个固定ip,但是用了一个dlink的小型路由器,服务器在内网,用NAT,我看样子好像只能用1个ip,剩下的3个改怎么样利用呢?

就是4个ip都用上?我不太熟悉网络,谢谢各位了。

[ 本帖最后由 im_v_v 于 2010-4-2 11:18 编辑 ]

1724

主题

4万

回帖

8万

积分

论坛元老

积分
85718
发表于 2010-4-2 11:17:30 | 显示全部楼层
思路上没有问题

272

主题

6251

回帖

1万

积分

论坛元老

积分
13446
发表于 2010-4-2 11:20:30 | 显示全部楼层
要求高……

609

主题

4229

回帖

1万

积分

论坛元老

积分
10373
发表于 2010-4-2 11:20:53 | 显示全部楼层
原帖由 cpuer 于 2010-4-2 11:17 发表


思路上没有问题


cpuer老大,我该如何操作呢?譬如我现在4个ip,一条光纤,在内网的情况,我的路由器好像不支持动态nat。我想做软路由,请提供一个方案吧?什么环境+什么软路由,谢谢老大。

4

主题

20

回帖

68

积分

注册会员

积分
68
 楼主| 发表于 2010-4-2 11:21:00 | 显示全部楼层
原帖由 Administrator 于 2010-4-2 11:20 发表


具体是什么程序?是否需要登录目标站点?



就是自己写的一个小爬虫,垂直某个行业网站,不需要登录站点,也许会有,但是只是ip变化就行了。

4

主题

20

回帖

68

积分

注册会员

积分
68
 楼主| 发表于 2010-4-2 11:22:35 | 显示全部楼层
原帖由 Administrator 于 2010-4-2 11:24 发表


晕倒,自己写的程序完全可以通过代理IP去获取内容。


我现在是爬一些类似”代理中国”网站上的 提供的免费 代理,有匿名的。但是不稳定。而且量太少。一会就不能用了。
所以,我感觉有点不够用。想花点钱,求个稳,呵呵。

而国内的ip太贵了,200一个月,所以打算从国外找。

麻烦兄弟给我说说,我一条光纤,4个ip,我该怎么部署?原帖由 Administrator 于 2010-4-2 11:26 发表


用代理速度可能会慢些。
PHP和PYTHON都可以都可以指定出口IP,如果不考虑成本的话,可以用大量的本机IP。


恩,程序上没问题,主要是有稳定的代理。哎,本机ip,太贵了

609

主题

4229

回帖

1万

积分

论坛元老

积分
10373
发表于 2010-4-2 11:24:02 | 显示全部楼层
原帖由 Administrator 于 2010-4-2 11:28 发表


原来OVH的一台机器,256个IP,而且可以分到不同网段



是vps还是租一台整机?价格大概多少呢?

4

主题

20

回帖

68

积分

注册会员

积分
68
 楼主| 发表于 2010-4-2 11:26:08 | 显示全部楼层
这么贵啊,我一个哥们告诉我,买BURST的vps  和 250ip,一个月大概100多美刀。流量是4t,出口100m。貌似是这样。

是这样吗?

609

主题

4229

回帖

1万

积分

论坛元老

积分
10373
发表于 2010-4-2 11:26:35 | 显示全部楼层
我顶,各位都吃饭去了吗





4

主题

20

回帖

68

积分

注册会员

积分
68
 楼主| 发表于 2010-4-2 11:28:45 | 显示全部楼层
现在Burst.net分配/24 (253个可用IP) 要求很严格的,不容易。
您需要登录后才可以回帖 登录 | 立即注册

论坛客服/商务合作/投诉举报:2171544 (QQ)
落伍者创建于2001/03/14,本站内容均为会员发表,并不代表落伍立场!
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论!
落伍官方微信:2030286 邮箱:(djfsys@gmail.com|tech@im286.com)
© 2001-2014

浙公网安备 33060302000191号

浙ICP备11034705号 BBS专项电子公告通信管[2010]226号

  落伍法律顾问: ITlaw-庄毅雄

Archiver|手机版|Discuz! X

GMT+8, 2026-6-13 20:34 , Processed in 0.021091 second(s), 3 queries , Gzip On, Redis On.

返回顶部