V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3199 days ago, the information mentioned may be changed or developed.
假设内容页文字和图片都有。
 |
1
cxbig Jul 25, 2017
这么开放的问题叫人怎么回答…
哪个网站？什么工具？什么带宽？手上有多少 IP ？制约因素太多了… |
 |
2
binux Jul 25, 2017
就我呆过的公司
10 分钟到 100 毫秒不等 |
 |
4
xiayibu OP 如果是拨号 VPS 这种，开进程会不会被封
|
 |
5
ericbize Jul 25, 2017 via iPhone
上次 1 核 1g 的阿里云，单线程程序 爬了 10w 张几 k 的图 用了一晚上。 其实不用介意用了多久，只要程序没毛病，晚上一开白天醒来就差不多了。
|
 |
6
am241 Jul 25, 2017 via Android
爬福利，不想被封，也不想对目标站造成压力，爬了一晚上
|
 |
7
est Jul 25, 2017
写爬虫不加上 sleep(5) 也敢号称分布式爬虫？
|
 |
8
caijihui11 Jul 25, 2017
怎么爬福利啊，透露下
|
 |
12
pcdRob Jul 25, 2017
几分钟
|
 |
13
calpamomo Jul 25, 2017
看网速
|
 |
14
jugelizi Jul 25, 2017
10s 抓完
然后发现全是脏数据 |
 |
15
XiaoFaye Jul 25, 2017
@faceair 百度的蜘蛛的速度我不怀疑，问题是人家的 Web Server 慢你也没办法是吧？本机 Ping 也要 0.0X 毫秒一次，一个 web 请求怎么也不会比这个快吧？ 100 毫秒 1 万个有点悬呀。
|
 |
17
ReisenZ Jul 25, 2017 via Android
抓过漫画站…因为是自己看就慢慢抓了…几个小时吧…
|
 |
18
xiaomacai Jul 25, 2017
1s+，是不是可以 DDoS 了
|
|
19
xiayibu OP 几秒的那是爬取网页吗，跟攻击网站没有区别啊
|
 |
20
linus3389 Jul 25, 2017
ssd，或者 redis，下行 10m/s
不要眨眼哦 |
 |
21
hihihihihi Jul 25, 2017
看大小吧， 我本机上写的程序， 抓股票数据，3000 多只股票，3 种时间数据， 算下来差不多 1w 个请求， 用 gevent，30 秒左右全部拿下来， 下载的数据打包有 200 多 mb， 我家 100MB 带宽。要是整个分布式的，那就更快了。
|
 |
23
WoodenRobot Jul 25, 2017
@jugelizi 一开口就知道老江湖了。
|
Select Language