抖音推荐列表视频爬虫

2019-08-29 11:10:07 +08:00
 cnbattle
基于 APP 爬取

相关技术:golang adb nodejs anyproxy

特点: 可设置仅抓取大于 xx 赞的视频

github: https://github.com/cnbattle/douyin

代码粗糙,主要分享下思路,这样的模式几乎可以抓取任何 APP HTTP API 的数据或内嵌 H5 数据,当然如果数据全部加密或编码传输的就不行了
13005 次点击
所在节点    Go 编程语言
90 条回复
GoTop
2019-08-30 06:41:29 +08:00
有没有 python 版啊
Pi7bo1
2019-08-30 08:30:22 +08:00
@az999 biubiu~ 你死了
cnbattle
2019-08-30 08:34:26 +08:00
@GoTop 只是 golang 起了一个 web server 接收 anyproxy post 过的 json 数据 和 用 adb 控制模拟滑动 其他都是一样的,我不了解 python,只能自己实现了

1 用 python 写个 web server 处理 https://raw.githubusercontent.com/cnbattle/douyin/df129be17c6711b0a37682df8cb0c253c517c9d0/body.json 这样的一个 json 数据,

2 用 python 调用命令行 运行 这几个命令即可,
```
打开抖音 adb shell am start -n com.ss.android.ugc.aweme/.main.MainActivity
关闭抖音 adb shell am force-stop com.ss.android.ugc.aweme
屏幕滑动 adb shell input swipe 500 1000 400 100
```
cnbattle
2019-08-30 08:37:06 +08:00
@Iamnotfish 不知道 0.0 躲在角落,瑟瑟发抖~
airqj
2019-08-30 09:07:36 +08:00
这 V 站近年来素质变得可怕啊      
被攻击的人反驳了几句就变成了主动攻击人了    哈哈哈
LiHaiWordGe
2019-08-30 09:15:01 +08:00


@simonv3ex 好用
ddup
2019-08-30 09:24:47 +08:00
感谢
yngby
2019-08-30 09:29:58 +08:00
@az999 我没有嘲讽你啊?我说了句我佛了就算嘲讽你吗?但你可是实打实的骂我了,跪下道歉
uTuw2C6uf964Kx6o
2019-08-30 09:58:18 +08:00
这小破站越来越有意思了,什么人都能访问到,还能在这里吵起来,
微信 base64 发出来,加好友对骂,不要在小破站骂街,容易降低各位的身份
TypeErrorNone
2019-08-30 10:04:26 +08:00
@az999 你怎么这么暴力?
haha12000
2019-08-30 10:06:20 +08:00
@az999 活捉一喷子
graceday
2019-08-30 10:06:44 +08:00
@mrant 这个办法好,要不建个微信群,来个群吵如何?
z54749412
2019-08-30 10:13:04 +08:00
@az999 你的人生到底多灰暗啊?养成了 这张臭嘴。
darknoll
2019-08-30 11:14:26 +08:00
@az999 nc 玩意儿
hellomimi
2019-08-30 11:26:09 +08:00
《论狗头保命的重要性》![doge]( )
GoTop
2019-08-30 12:25:21 +08:00
@cnbattle #63 恩,看了你的解释感觉用 python 来实现也没什么问题
max6
2019-08-30 15:51:05 +08:00
没忍住,哈哈哈...
woshinide300yuan
2019-08-30 16:18:31 +08:00
哈哈,活生生让一个人给带歪了。。。
哈哈哈哈哈哈……
真傻逼!
BigDogWang
2019-08-30 16:52:19 +08:00
这个帖子简直大型 block 现场
BigDogWang
2019-08-30 16:53:46 +08:00
@glacer 有几个能逆向出来的呢,朋友接到任务,要做一个抖音第三方软件,光登陆这一步就卡住了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/596130

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX