有人能搞出這樣子的源碼嗎？ [复制链接]
查看:138 | 回复:14

skwinx · 发表于 2010-11-30 23:29:24

我試著用開源的蜘蛛去抓取頁面儲存快照分類儲存頁面

類似 web.archive.org 這樣的網站

我抓到的中文字都是亂碼誰有這樣子的源碼？我也來整個互聯網存檔。

cnweb · 发表于 2010-11-30 23:30:52

太庞大啦
你能搞出来就伟大了

skwinx · 发表于 2010-11-30 23:32:06

本地蜘蛛從hao123開始爬目前吸收到了900多MB的快照頁面了

cnweb · 发表于 2010-11-30 23:33:30

我想都不敢想能搞這樣的網站

skwinx · 发表于 2010-11-30 23:37:05

生命在於蛋疼嘛

算了一下普通的VPS沒有那麼大的硬盤那些無限虛擬主機能有文件數限制的吧

cnweb · 发表于 2010-11-30 23:38:55

原帖由 skwinx 于 2010-11-30 23:37 发表

生命在於蛋疼嘛

算了一下普通的VPS沒有那麼大的硬盤那些無限虛擬主機能有文件數限制的吧

哈哈你還真是蛋疼！。

我行我素 · 发表于 2010-11-30 23:45:10

原帖由 skwinx 于 2010-11-30 23:37 发表

生命在於蛋疼嘛

算了一下普通的VPS沒有那麼大的硬盤那些無限虛擬主機能有文件數限制的吧

嗯，你这文件估计很多，虚拟主机肯定不行，上服务器

themyth · 发表于 2010-11-30 23:47:15

原帖由 skwinx 于 2010-11-30 23:29 发表

我試著用開源的蜘蛛去抓取頁面儲存快照分類儲存頁面

類似 web.archive.org 這樣的網站

我抓到的中文字都是亂碼誰有這樣子的源碼？我也來整個互聯網存檔。 ...

楼主，我也有你这样的想法。

skwinx · 发表于 2010-11-30 23:47:44

公益事業讓人搭乘「時光機」回去看看以前的網頁為目的。

上獨服不太合算，研究一下怎麼減少那些文件數

skwinxcnweb · 发表于 2010-11-30 23:48:16

現有的這個蜘蛛是整個網頁一鍋端什麽JS CSS 全部下載下來了做這個玩意
沒有點美元或人民幣是不可能的撒