抖音推荐列表视频爬虫

[cnbattle]

基于 APP 爬取

相关技术：golang adb nodejs anyproxy

特点: 可设置仅抓取大于 xx 赞的视频

github: https://github.com/cnbattle/douyin

代码粗糙,主要分享下思路,这样的模式几乎可以抓取任何 APP HTTP API 的数据或内嵌 H5 数据,当然如果数据全部加密或编码传输的就不行了

[caneman]

这个人有点像煎蛋的电池哥，不知道 V2 有没有人玩煎蛋

[niknik]

我看都在喷这个人，我以为他很委屈差点打抱不平，看了一下楼，我决定

@az999 nmsl，你没商量，那没事了，你买啥了，尼美舒利，戳你妹，出那么，曹年末，次那么，超耐磨，cnm

[niknik]

@az999 都在喷你，臭弟弟，是不是怀疑人生了，是不是在思考我错在哪儿了，加油，会有更多人喷你的，嘻嘻

[Buges]

@GoTop 可以了解下 mitmproxy

[Leigg]

我也佛了，不过我佛的是二楼还有…一批混子

[renhua]

@Livid Report @az999

[yankebupt]

@cnbattle 好吧折腾了几个小时发现
1 go 运行时第一次上网自动抓 dependency 还挺好玩的
2 好像已经没一个肯在 vmware player 15 虚机里面肯跑的安卓模拟器能正常运行抖音全手动划屏刷 20 秒不崩了
3 好像已经没一个安卓模拟器能让人放心在日常非 vmware 环境下安装了(包括 bluestacks)
4 （想喷想玩这个连个随时能三清的五百以下的备机都不肯备的同志们可以跳过这一步了）
5 正在考虑要不要整个 U 盘启动的可以直通显卡的虚机试试可不可以模拟器 /app 不崩...有时间再说了

[cnbattle]

@yankebupt go1.11 mod 很方便,而且现在国内已经有好几个代理

我用的那个 倒能撑到 1 分钟以上，我建议是用 别公司封装出来的那些安卓模拟器，他们对手机型号 定位 啥的模拟可能会有更好一点的稳定性

我现在在家用树莓派 2b 和一个触摸屏失效 电池 异常的手机运行，中间有个问题 就是 2b 的 usb 电压太低 一直插着手机电量会慢慢掉下来，所以我把手机拆了把屏幕的供电线拔了就可以一直运行

[hp66722667]

1 楼被爆了，哈哈

[Mitt]

抖个机灵都能被你们喷成这样，两边脾性是不是都太暴了