分享一个 node.js 纯 http 请求的 twitter 爬虫思路

[SleepyRaven]

本文仅阐述心路历程及简要思路，以供学习 node.js 及网络安全相关知识，请勿过度解读或用于非法用途。

动机

在 twitter 关注了很多小姐姐，但是每隔一段时间就会有“退网”的，推文直接清空或禁止查看。
这个时候的我就会很懊悔没有提前保存好所有影像资料。

检索

然后就去网上找各种现成的工具，发现大部分都是基于 python 的，或者模拟滚屏解析 html 的；
继续检索发现 twitter 提供了开发者 API，但是要申请，并且现在申请成功率很低。

探究

于是观察了一下 twitter 媒体页面的加载方式，发现以下几点：

• xhr 中显然存在着关于推文的直接 http 请求，且有推文数量参数
• 滚屏瀑布加载的起点为当前最后一条推文数据中的标记字段
• 请求到的推文数据直接包含了图片和视频的 uri 地址，其中图片尺寸可通过修改 query 参数控制
• twitter 关于 cookie 的校验非常松
• twitter 对资源的并发数量有限制
  开整吧那就

思路

环境及工具：node.js, node-fetch, request, http-proxy, fs
流程：键入某 twitter 用户名 -> 先请求到 media 数量 -> 将数量修改至 media 请求的参数中 -> 发起 media 请求 -> 解析返回 json 中的 资源 uri -> 下载资源到本地

优势

• 只需要一个 node.js ，不用登录 /py 环境 /headless 浏览器
• 代码简单，业务逻辑只需两三百行 js
• 性能优秀，两次毫秒级请求取到所有 uri，具体资源下载速度由带宽决定

结果

• npm run download xxx 将 xxx 用户的所有最大尺寸图片和视频资源到本地
• npm run update 更新./Medias 目录下所有已存在用户的推文资源

[Pythoner666666]

show em your code

[rodrick]

这就是 lsp 推动技术进步？

[yunying]

求姐姐推荐

[mrweiwei]

我是申请了开发者账号用官方的 api 去爬，跑了大半年了，现在图片资源已经有 20w+了😄

[lzgshsj]

有点意思。庆幸前两年宽松的时候申请了开发者 API，当时貌似写了个 100 词小作文就过了。
主要是拿来鼓捣自建的 rsshub 去了。
监测几个推特账号的话，用户名是挺好。不过我看的账号挺多，就把要监测的账户全拉到一个列表里，监测列表就完事了。

[lc1450]

白嫖党: 你最好把代码给我一下，顺便给几个推特账号。希望你不要不识抬举🐶

[Puteulanus]

以前做过 tumblr 的，有个思路，很多小姐姐可能会互相转发，然后企鹅的万象优图有个 API 是鉴黄的，可以顺着一个小姐姐去找其他小姐姐

[zuosiruan]

@lc1450 哈哈+10086

[Building]

Twitter: 从露脸到网黄…

[tediorelee]

啊啊啊你把你的代码给我交了（

[collen]

好的懂了 之前没想到煎黄这个 api 已经下单硬盘了

[wwwtarzan]

把关注列表给我交了

[zingwu]

白嫖党: 你最好把代码给我一下，顺便给几个推特账号。希望你不要不识抬举🐶

[itning]

不开源？

[nameuser]

只要是老账号 ，推特开发者账号申请还是比较容易过。

爬推特还可以试试 go-rod

[kdwnil]

不知如何解决 api 的硬性推文数量限制？希望能看看思路学习学习

[Maxbee]

😦

[acmore]

hxd 给个车牌

[ybnsjl]

@kdwnil [twint]( https://github.com/twintproject/twint)这个库可以不受 api 数量限制，虽然它也是通过 api 抓取的。但是它的 Bearer 比较特殊。我是复制过来直接改的，目前运行比较稳定

[xgfan]

官方 API 都说很难，但是前两天申请秒过啊。
100 字的作文我干脆就摊牌了：我要保存朋（ xiao ）友（ jiejie ）的推文，使用频率很低，你要是不批准，那我就直接抓网页了。