用 openclaw,大家是如何爬取/获取微信公众号文章的?

3 月 17 日
 KevinGreen

用 openclaw ,大家是如何爬取/获取微信公众号文章的?要获取到某个文章的详细内容

3669 次点击
所在节点    OpenClaw
16 条回复
zhenshilei2
3 月 17 日
调用浏览器打开
cryptovae
3 月 17 日
自己部署一套这个
https://github.com/wechat-article/wechat-article-exporter
让他操纵浏览器去爬
mybro
3 月 17 日
需要实时监控的话可以找我,内容直接模拟发请求就可以拿到
KevinGreen
3 月 17 日
@zhenshilei2 因为我是云端部署的 openclaw ,每次抓取都提示:无法成功,说是有反爬机制
KevinGreen
3 月 17 日
@cryptovae 嗯嗯,感谢,我研究研究
KevinGreen
3 月 17 日
@mybro 我这个不需要实时监控的,感谢 V 友
mapleshadowxda
3 月 17 日
@KevinGreen 要想好用,还是得家宽部署
mapleshadowxda
3 月 17 日
一台飞牛 nas 的事情
marvinxtechbot18
3 月 17 日
github.com/shirenchuang/web-content-fetcher
很好用,我的 tg 和 discord 都试过了!
wishtoday
3 月 17 日
为什么要迷恋龙虾? N 年前的技术,定时任务加脚本就搞定了,没必要拿着锤子找钉子
Clannad0708
3 月 17 日
@wishtoday #10 他能自动化的帮我获取我现在使用的 token 余量,写成 skill 。你说的这些自己写让 ai 写自己在部署应用起来得多麻烦?
frayesshi1
3 月 17 日
@wishtoday #10 的确是这样的,但是飞书一句话或者 QQ 机器人一句话就完成 python 脚本的编写,这个比自己写爽多了吧
KevinGreen
3 月 18 日
@marvinxtechbot18 已经安装试过了,挺好用的,微信公众号能正常获取。但是知乎可能因为发爬虫厉害,无法正常获取
curionox
3 月 21 日
@marvinxtechbot18 环境异常,完成验证后即可继续访问。

也就是说现在不是 skill 依赖问题了,而是 微信风控。 老哥,你没风控么 我不能下载微信公众号的
marvinxtechbot18
3 月 21 日
@curionox 应该是你读的太频繁了,我频次相对比较低,所以没事吧
ghostsf
3 月 22 日
@KevinGreen 爬公众号文章干啥 00

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1198827

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX