大家抓取 1 万个网页需要多少时间

假设内容页文字和图片都有。

cxbig

2017 年 7 月 25 日

这么开放的问题叫人怎么回答…
哪个网站？什么工具？什么带宽？手上有多少 IP ？制约因素太多了…

binux

2017 年 7 月 25 日

就我呆过的公司
10 分钟到 100 毫秒不等

XiaoFaye

2017 年 7 月 25 日

@binux 100 毫秒瞬间抓完 1 万个？高潮都没那么快吧。。。

xiayibu

2017 年 7 月 25 日

如果是拨号 VPS 这种，开进程会不会被封

ericbize

2017 年 7 月 25 日

上次 1 核 1g 的阿里云，单线程程序爬了 10w 张几 k 的图用了一晚上。其实不用介意用了多久，只要程序没毛病，晚上一开白天醒来就差不多了。

am241

2017 年 7 月 25 日

爬福利，不想被封，也不想对目标站造成压力，爬了一晚上

est

2017 年 7 月 25 日

写爬虫不加上 sleep(5) 也敢号称分布式爬虫？

faceair

2017 年 7 月 25 日

@XiaoFaye #3 百度的蜘蛛这点速度都没有吗 hhhh

xiayibu

2017 年 7 月 25 日

@ericbize 你这样爬没有被封或是网页断开链接吗

ericbize

2017 年 7 月 25 日

@xiayibu 我会告诉你我爬的是验证码？

XiaoFaye

2017 年 7 月 25 日

@faceair 百度的蜘蛛的速度我不怀疑，问题是人家的 Web Server 慢你也没办法是吧？本机 Ping 也要 0.0X 毫秒一次，一个 web 请求怎么也不会比这个快吧？ 100 毫秒 1 万个有点悬呀。

ReisenZ

2017 年 7 月 25 日

抓过漫画站…因为是自己看就慢慢抓了…几个小时吧…

xiayibu

2017 年 7 月 25 日

几秒的那是爬取网页吗，跟攻击网站没有区别啊

linus3389

2017 年 7 月 25 日

ssd，或者 redis，下行 10m/s
不要眨眼哦

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.