爬虫练手项目推荐一个？

[sjmcefc2]

想学习爬虫，能不能推荐一个小项目并说一下思路？ 比如爬随便一家公司的财务报表？

[prasanta]

中国商标局网的所有商标数据

[nulIptr]

所有主流直播网站的直播间（斗鱼熊猫虎牙战旗啥的）。。。然后搞出一个类似于导航网站的东西展示数据。。。

[colincat]

@prasanta 直接让他进阶高级吗？

[colincat]

LZ，推荐你新闻类网站吧，基本没什么难度，挺好

[chesterzzy]

爬虫这个东西，只要是公开的、合法的数据，都可以爬来练手，当然，要注意节制

关键还是解析页面和存储数据

实在不行，爬图呗，相信许多大兄弟都是从这一步开始爬虫的（是的我也是）

[samding123]

http://geeksai.com/2017/06/16/scrapy-part1/

[opengps]

注意爬大站，别爬小站，小站本来资源有限，爬虫来了直接系统挂了，小心被站长发现揪出来吊打

[sjmcefc2]

@colincat 觉得直接上有意义的比较好,当然难道可能比较大

[sjmcefc2]

@chesterzzy 有没有国外的可以爬的?

[sjmcefc2]

@nulIptr 现在比较苦恼怎么把知识变成💰

[colincat]

@sjmcefc2 这样吧，给你出个题，抓知乎或者微信

[chesterzzy]

@sjmcefc2 国外的网络不稳定，有的甚至要上代理。

还是有点不理解楼主的意思，是想要一步到位搞个大工程？还是先随便练练手？

要是随便练练手的话，随便搞个新闻聚合啊，降价提醒啊，论文爬取啊，壁纸爬取啊，妹子图爬取啊什么的都可以啊。

要想搞个大工程，那考虑的东西就多了。cookie 啊，登录啊，验证码啊，ip 代理啊，反爬虫策略啊，分布式啊等等。

好了我牛逼吹完了。。。

[sjmcefc2]

@chesterzzy 能具体说说有哪些国外的可以爬吗？金融相关的有吗

[sjmcefc2]

@colincat 这个题目。。。具体爬哪方面呢？微信确实资源很多啊，可是都是加了好友才能怕下来吧

[sjmcefc2]

@chesterzzy 怎么节制？如果用 selenium 貌似不用节制吧，速度和人工差不多

[whoami9894]

难道标准的练手项目不是煎蛋吗

[981764793]

练手的话可以看看逼乎，比如爬个关注关系网，爬一下某个钓鱼问题下的所有图片，以及所有回答者的回答或提问下的回答的图

[yy461530593]

@sjmcefc2 国外的电商网站： https://www.endclothing.com/ ，爬商品列表跟商品详情试试

[xiaoke0718]

@opengps 你这句话确实？