大家抓取 1 万个网页需要多少时间

假设内容页文字和图片都有。

cxbig

2017-07-25 05:50:28 +08:00

这么开放的问题叫人怎么回答…
哪个网站？什么工具？什么带宽？手上有多少 IP ？制约因素太多了…

binux

2017-07-25 06:29:02 +08:00

就我呆过的公司
10 分钟到 100 毫秒不等

XiaoFaye

2017-07-25 06:36:46 +08:00

@binux 100 毫秒瞬间抓完 1 万个？高潮都没那么快吧。。。

xiayibu

2017-07-25 06:59:08 +08:00

如果是拨号 VPS 这种，开进程会不会被封

ericbize

2017-07-25 07:52:49 +08:00

上次 1 核 1g 的阿里云，单线程程序爬了 10w 张几 k 的图用了一晚上。其实不用介意用了多久，只要程序没毛病，晚上一开白天醒来就差不多了。

am241

2017-07-25 08:07:53 +08:00

爬福利，不想被封，也不想对目标站造成压力，爬了一晚上

est

2017-07-25 08:39:20 +08:00

写爬虫不加上 sleep(5) 也敢号称分布式爬虫？

faceair

2017-07-25 09:06:27 +08:00

@XiaoFaye #3 百度的蜘蛛这点速度都没有吗 hhhh

xiayibu

2017-07-25 09:07:24 +08:00

@ericbize 你这样爬没有被封或是网页断开链接吗

ericbize

2017-07-25 09:09:29 +08:00

@xiayibu 我会告诉你我爬的是验证码？

jugelizi

2017-07-25 09:49:50 +08:00

10s 抓完
然后发现全是脏数据

XiaoFaye

2017-07-25 09:54:13 +08:00

@faceair 百度的蜘蛛的速度我不怀疑，问题是人家的 Web Server 慢你也没办法是吧？本机 Ping 也要 0.0X 毫秒一次，一个 web 请求怎么也不会比这个快吧？ 100 毫秒 1 万个有点悬呀。

regicide

2017-07-25 09:58:15 +08:00

@XiaoFaye lz 又没说对一个 server

ReisenZ

2017-07-25 10:48:37 +08:00

抓过漫画站…因为是自己看就慢慢抓了…几个小时吧…

xiayibu

2017-07-25 10:55:58 +08:00

几秒的那是爬取网页吗，跟攻击网站没有区别啊

linus3389

2017-07-25 15:05:55 +08:00

ssd，或者 redis，下行 10m/s
不要眨眼哦

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/377704

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.