关于比价网的一些问题 [复制链接]
查看:70 | 回复:7

84host · 发表于 2011-3-18 16:51:11

看了一些比价网搞不懂的是他们是时时采集的(比如用户点某本书程序根据这本书名为关键字查询那个网站如当当的销售价格 ),还是先采集了实际销售站入库, 或则还是调用对方的API????

greyboy · 发表于 2011-3-18 18:52:48

不懂

hablahjeejee · 发表于 2011-3-18 21:50:34

呵呵，，这个可能门槛要高一些，千万数据量的及时索引，查询，台把台服务器搞不定哦。

cooiky · 发表于 2011-3-18 21:56:14

实时去查吧

puper · 发表于 2011-3-18 23:55:07

不清楚了

Kokgog · 发表于 2011-3-19 00:09:19

定时采集的。千万级没有的，360buy整站数据也就40w不到。书的识别比较容易，有统一的isbn

hablahjeejee · 发表于 2011-3-19 17:00:40

价格可是弄成图片了的，怎么把不同网站的同一个商品按相似度合并一起，也是不简单的。

Kokgog · 发表于 2011-3-19 17:50:46

那几个图片价格站还算好认，网上也有现成的ocr方案，就是抓取量太大，我爬360buy整站大致要用3天左右