大家抓取 1 万个网页需要多少时间

2017-07-25 05:44:37 +08:00
 xiayibu

假设内容页文字和图片都有。

5766 次点击
所在节点    Python
24 条回复
4ever911
2017-07-25 15:23:54 +08:00
看大小吧， 我本机上写的程序， 抓股票数据，3000 多只股票，3 种时间数据， 算下来差不多 1w 个请求， 用 gevent，30 秒左右全部拿下来， 下载的数据打包有 200 多 mb， 我家 100MB 带宽。要是整个分布式的，那就更快了。
binux
2017-07-25 16:23:43 +08:00
@XiaoFaye #15 这是一个开放性问题
WoodenRobot
2017-07-25 17:17:37 +08:00
@jugelizi 一开口就知道老江湖了。
wolffn
2017-07-26 04:06:07 +08:00
@4ever911 可以请问下在哪个网站爬的股票数据吗

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/377704

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX