直播弹幕的爬虫,有人爬过吗?求指导一下啊

2018-04-18 00:03:54 +08:00
 wjx1993

直播平台: https://v.6.cn 爬取任意主播的房间的弹幕

5954 次点击
所在节点    Python
17 条回复
Luckyray
2018-04-18 00:43:27 +08:00
六间房的不清楚,其他几家的直播弹幕我记得是 socket,没法爬吧,你得截个包看看怎么建立连接。
wzwwzw
2018-04-18 02:11:22 +08:00
点进去看了一下,结果发现是 HTTP 的请求。
[![Snipaste_2018-04-18_02-10-35.png]( https://i.loli.net/2018/04/18/5ad638b1cc0a8.png)]( https://i.loli.net/2018/04/18/5ad638b1cc0a8.png)
sean10
2018-04-18 04:11:51 +08:00
github 上不少,记得有些是模拟发包请求弹幕的
wjx1993
2018-04-18 07:02:41 +08:00
@Luckyray 是的,socket 这块不太懂,求教一下👍
wjx1993
2018-04-18 07:04:50 +08:00
@sean10 没有这个平台的,有点麻烦
fgodt
2018-04-18 07:59:00 +08:00
一般弹幕都是 websocket 和 socket 你要抓包看请求 找规律,然后想办法找到 key
wjx1993
2018-04-18 08:09:22 +08:00
@fgodt 抓包后看起来有点乱,看不太懂,所以没找到 key,求指导一二
A555
2018-04-18 09:18:32 +08:00
@wjx1993 我记得好几年前 b 站是可以打包下载弹幕的,不知道这功能现在还有没有
okzpy9425
2018-04-18 09:20:14 +08:00
websocket 或者自己再 socket 上封装的协议。

https://github.com/zhao94254/rebuilt 这个是我用 go 写的,你可以参考下
jijiwaiwai
2018-04-18 09:21:55 +08:00
pip install danmu
wjx1993
2018-04-18 09:28:59 +08:00
@jijiwaiwai 这个好像只有斗鱼的还可以运行
fgodt
2018-04-18 09:51:24 +08:00
抓包用来看发包顺序,key 和加解密算法就需要你反编译一些官方的东西来找了,比如安卓、flash 等这就不深说了
NotNil1
2018-04-18 09:55:22 +08:00
有些平台是有开发协议的 ,不用爬,我记得比如熊猫直接有 API,你去官网看看.
DeWhite
2018-04-18 10:41:04 +08:00
模拟发包,然后弹幕出来然后过滤。
wjx1993
2018-04-18 13:18:58 +08:00
@ljtletters 我记得应该没有,没有找到
wjx1993
2018-04-18 22:03:16 +08:00
@okzpy9425 弹幕的礼物数量可以取到吗?我没找到,求解
okzpy9425
2018-04-18 22:24:13 +08:00
@wjx1993 可以。有一个字段是礼物的。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/447639

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX