抖音推荐列表视频爬虫

[cnbattle]

基于 APP 爬取

相关技术：golang adb nodejs anyproxy

特点: 可设置仅抓取大于 xx 赞的视频

github: https://github.com/cnbattle/douyin

代码粗糙,主要分享下思路,这样的模式几乎可以抓取任何 APP HTTP API 的数据或内嵌 H5 数据,当然如果数据全部加密或编码传输的就不行了

[az999]

好的，已反馈给 抖音反爬组

[darknoll]

@az999 人家用真机，你反爬个卵啊

[az999]

@darknoll 嘴巴干净点，生活不如意 别冲我这里来。不惯着你

[gunjianpan]

@az999 宁可真干净

app 端抓取信息确实是目前很多服务获取信息比较稳定的手段

[cnbattle]

@az999
自己给个反爬办法 上 protobuf 二进制传输 或自己定个简单的加密 /编码方式 不外泄 就爬不了

[glacer]

@cnbattle 逆向 APP 不就行了？

[trys1]

用真机，成本好高

[cnbattle]

@trys1 虚拟机也行的

[deepall]

又是一个志同道合的小伙伴

[cnbattle]

@glacer 0.0 是可以,不过 逆向 app 相对来说 技术要求会高一些,会劝退我这样非专业做这个方向的人..

[LeeSeoung]

检查当前环境是否使用代理，是的话要求去掉代理，上 https，可以拦住很多人了

[az999]

@gunjianpan 别在这里阴阳怪气的，装什么呢？

[cnbattle]

@LeeSeoung 请问下, 如果不再真机 /虚拟机设置代理,在上游网络设置的话(如路由器设置代理),app 端能检测到吗? 不能很了解这块

[LeeSeoung]

@cnbattle 可以做，但是上了 https 就比较难搞，所以我才补了一句用 https，纯 http 你用 wireshark 或者其他工具抓网卡流量就行。

[jinksw]

半物理爬虫😆

[cnbattle]

@jinksw 简单粗暴😆

[dabaibai]

@LeeSeoung https 也能中间人公鸡....防毛爬虫..永远不可能有技术能防爬虫的. 当然,你可以数据不展示

[golden0125]

是用 go 在安卓端写了个后台 APP 抓流量吗?

[Raymon111111]

真机当然可以做风控

比如获取机器陀螺仪上的一些信息

[tongyang]

@az999 你这臭嘴 我佛了