现在大型的爬虫项目用的是什么框架， scrapy 过时了吗

15 小时 42 分钟前
 pureGirl
1448 次点击
所在节点    程序员
6 条回复
bwnjnOEI
15 小时 28 分钟前
面对动态页面和抗反爬稍微复杂点的就不行了吧
简单的网站依然可以用啊
donaldturinglee
14 小时 3 分钟前
scrapy 一直就不是单着用的吧？没过时，但是你可以学一下 playwright
sgld
11 小时 30 分钟前
试试 DrissionPage ?
zonde306
11 小时 16 分钟前
简单就 scrapy ，复杂就不用框架，直接操作浏览器

例如
camoufox
patchwright
azzzzzz
8 小时 29 分钟前
未来还是直接模拟浏览器的吧
IIce
几秒前
毕业之后就没用过 scrapy 了，有自研的，也有 feapder, 还有一些就是一个 requests 脚本，可能项目不够大吧

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1175013

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX