心血来潮写了一个推特图片、视频爬虫工具

140 天前
 Plumbiu

用的是 nodejs 写的,主要还是对 python 不太熟悉。

大致原理就是使用 puppeteer 模拟浏览器的行为,监听网络请求和响应等。

目前的做法可能不是最佳实践,因为网络环境不好的时候会出现遗漏情况,而且速度方面可能欠佳(模拟滚动页面的时间比较长)。

项目的地址:

https://github.com/Plumbiu/twid

2241 次点击
所在节点    分享创造
2 条回复
viosey
140 天前
Twitter 现在的 API 貌似是需要收费非?
Plumbiu
140 天前
@viosey 免费的限制比较多,付费的至少每个月 100 刀乐

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1005304

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX