有什么类似 Wayback Machine 的开源程序吗？ 想爬取存档网页

2018-03-05 19:32:38 +08:00
 xiaoyanbot

有什么类似 Internet Archive 的 Wayback Machine 的开源程序吗？

2561 次点击
所在节点    问与答
3 条回复
i730
2018-03-05 20:23:35 +08:00
我也想做个，搜索过了我最后是 RSS 订阅，取出 RSS 的地址，执行 html 转 pdf 的程序，然后打包归档
同问，如果有最好，没有的话也可以开新坑了
inflationaaron
2018-03-05 23:49:33 +08:00
https://github.com/webrecorder/webrecorder

虽说不是传统意义上的爬虫
ysc3839
2018-03-06 00:15:27 +08:00
wget
https://stackoverflow.com/a/6936095

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/435074

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX