RSS 订阅 B 站视频被反爬限制了,还有其他途径订阅吗?

49 天前
 renshiuu

大概从 22 年底起,我开始通过 RSS 订阅 B 站的视频投稿、知乎的回答文章以及各种网页博客。

B 站严格的反爬策略导致刷新频率一高就容易被限制,订阅的链接极其容易失效。只能通过曲线救国的方式,通过 vercel 自建订阅 UP 主的动态获取信息。

但最近因为在看蜗牛柯基 weibo 及其他 UP 主,但由于刷新频率较高,加上 B 站严格的反爬机制,现在订阅的 B 站链接几乎全部失效,除了一个“漏网之鱼”,其余全部失效(如下图右方所示)。

所以想问现在是否还有其它方法可以及时收到 up 主更新的消息,类似 RSS 将信息收纳其中,以便统一阅读。 个人也思考过是否能够通过电报 bot 统一订阅,但又感觉似乎不是很方便。 大家是怎么知道自己“特别关注”的 up 主更新的呢?

11516 次点击
所在节点    RSS
13 条回复
yadiman
49 天前
曲线救国,订阅 up 主的动态: https://xxx/bilibili/user/dynamic/xxxx
june4
49 天前
不能通过降低刷新频率解决吗
haonie
49 天前
抓网页元素的 css 或者 js ,配合浏览器检测网页更新插件就行了。
haonie
49 天前
抓网页元素的 css 或者 js ,配合浏览器检测网页更新插件就行了。
这个就是主页的元素路径
div > div > div > div > div > div > div > div > a
NotFoundEgg
49 天前
我是用定时轮询做的,有动态变化就推送 https://github.com/nfe-w/aio-dynamic-push
jrbt123
49 天前
@yadiman 哈哈 我也是这样做的
LaoDahVong
49 天前
这两天 github 上 trending 的项目不是有一个 MediaCrawler 么. 修改一下 b 站那块代码自己爬一下好了
baobao1270
49 天前
反爬无解。B 站的风控一塌糊涂,即使正常用户也会时常遇到验证码/429/结果为空(这个怀疑可能是 Load Balancer 的问题)的响应。只能降低频率。
Rnreck
49 天前
@LaoDahVong #7 删库跑路了
LaoDahVong
48 天前
@Rnreck 笑死了, 跑的好快. 不过很多 fork. 不过我看了下代码其实也没什么特殊的. 爬虫就是一个耗费精力的事情.
@baobao1270 我试了下似乎未登录用户也可以查看 up 主投稿, 大概需要关闭一个弹出的登陆窗口. 偶尔的失败对于 RSS 应该是能接受的.
间隙的话, 2 小时以上的间隙应该可以接受吧? 应该不至于频率过高. RSS 也就每天一看
v2yllhwa
48 天前
用客户端 grpc 接口爬。可以看看我写的 RssWorker 。
不过我写的这个为了在 cf 上跑是手搓的 grpc ,你可以照着自己写一个在本地跑。
laydown
48 天前
订阅自己的关注的就行了,不要每一个 up 主都用 rss 订阅,那哔哩哔哩肯定受不了。
baobao1270
48 天前
@LaoDahVong B 站有风控模型,你没遇上。前段时间有二级运营商用户因为 IP 是穿透的导致查看用户主页跳验证码

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1025543

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX