小白写了个壁纸的爬虫,能跑起来,但是感觉很慢,不知道怎么回事,请大佬指点

2019 年 7 月 14 日
 snake8090

我知道命名很烂,轻喷,全靠字典直译的! 弄了两个小时才弄出来个 gist 链接,第一次用,凑合看吧

https://gist.github.com/snake1080/817242ef0c0828d7eb3c20692ec2b2c1

4969 次点击
所在节点    Python
17 条回复
Buges
2019 年 7 月 14 日
多线程并发
arrow8899
2019 年 7 月 14 日
感觉慢?? debug 下不就知道哪慢了吗
locoz
2019 年 7 月 14 日
因为发请求的时候没有并发,每一个图片在下载的时候必须要等待上一个图片的下载流程结束
Raisu
2019 年 7 月 14 日
楼主代码太乱了
Hopetree
2019 年 7 月 14 日
IO 密集型用多线程
snake8090
2019 年 7 月 14 日
@Buges
@locoz
@Hopetree
刚接触 python 两三个月,什么是多线程并发?
cherbim
2019 年 7 月 14 日
@snake8090 哈哈哈哈哈,简单看了一下,你的脚本是下完一张图片后才开始下第二张,能不慢么,去看看多线程吧,让他同时多个照片下载
snake8090
2019 年 7 月 14 日
@cherbim 正在搜索什么是 多线程 哈哈
whoami9894
2019 年 7 月 14 日
有什么好问的,去补基础
Dart
2019 年 7 月 14 日
小白多进城 即可
cwjokaka
2019 年 7 月 14 日
用多线程,顺便再安利一波我的 https://github.com/cwjokaka/bilibili_member_crawler 里面也用了多线程
cwjokaka
2019 年 7 月 14 日
https://github.com/piglei/one-python-craftsman 再介绍一个别人(大佬)的项目,是关于编码习惯和 python 技巧的。内容很少但很精炼,我也是看完才动手写项目的
Perterually
2019 年 7 月 15 日
2333....一路循环...我看到了我第一次写爬虫时候的风格
Atukey
2019 年 7 月 15 日
只要不怕 IP 被拉黑
多线程 多进程 并发
snake8090
2019 年 7 月 15 日
@cwjokaka 多谢 正在找多进程的基础教程看
txy3000
2019 年 7 月 15 日
去看看 asyncio 和 asynchttp
locoz
2019 年 7 月 15 日
@snake8090 刚在我公众号上推了篇文章,讲怎么改你这个代码的,可以看看: https://mp.weixin.qq.com/s/ZDsoEVY0T2GI9E34dkfUZw

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/582826

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX