想做些爬虫任务练练手

2018-07-01 12:05:02 +08:00
 kingofvir

本人使用 python,看了写爬虫 demo,但是没有需求没什么动力，所以在此看看广大朋友有什么具体需要的爬虫需求，可以联系我，你们提需求，我试试看，本着学习态度，不收费，若做得好大爷打赏就最好了，

不过本人也是在业余时间才进行爬取，希望对时间限制没什么太紧迫的要求

QQ:2675218719

2609 次点击
所在节点   2018
8 条回复
34C
2018-07-01 13:25:38 +08:00
爬 V2EX 的 api 练手，
单个 IP 地址每小时限 120 次访问，
于是会练动态 IP 切换，
然后觉得爬几十万帖子速度太慢，
于是会练分布式爬虫，
最终 get 了分布式+动态换 IP+IP 池管理的技能
Mitt
2018-07-01 13:49:56 +08:00
@34C 然后 V2EX 被爬挂, 最终楼主被站长封杀
airyland
2018-07-01 14:06:13 +08:00
微信公众号 微博 今日头条 知乎 挑一个
34C
2018-07-01 14:20:34 +08:00
@Mitt 爬不挂的，爬过几次，爬完觉得没啥用又把数据库删了
lsyAndroid
2018-07-01 14:35:52 +08:00
汽车之家
silencefent
2018-07-01 14:42:27 +08:00
爬下高考分数线，院校分数线，各地招生人数，录取概率呗
闲着也是闲着
golmic
2018-07-01 22:06:13 +08:00
提点有难度的吧：
1.天猫优惠券信息
2.今日头条 web 主站推荐列表
3.微视 app 推荐接口
4.抖音 app 推荐接口
IMuMa3
2018-07-02 09:42:08 +08:00
可以试下大众点评的美食 那反扒做的。。。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/467207

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX