各位大神们微信公众号文章抓取怎么避免被封

2018-05-18 19:02:04 +08:00
 luckystar

最近发现 比特星球 app，懂财帝 app 都汇聚了微信公众号，简书，知乎等平台的内容，大家有了解如何抓取的吗？尤其是微信公众号的文章，还要考虑公众号文章的更新时间，以便能及时抓取

3564 次点击
所在节点    问与答
11 条回复
cnqncom
2018-05-18 20:21:36 +08:00
去搜狗爬
搞不定的就去其他已经爬了搜狗的站点爬
zingl
2018-05-18 20:22:03 +08:00
雇个人帮你拷贝粘贴
woscaizi
2018-05-18 20:27:14 +08:00
@cnqncom 这应该是最容易实现的方案了吧。
ik
2018-05-18 20:42:23 +08:00
最近也有在写公众号爬虫，我是用全球的 dns 解析搜狗微信的地址，然后分步请求。
目前问题是 用无头浏览器取 cookie 的时候卡住了，特征太明显，经常出验证码，不知道怎么搞。
jdjd
2018-05-19 10:58:06 +08:00
借楼问一下，怎么下载一个公众号以前的文章阿
有个比较喜欢的公众号。就想看看它以前的文章
googlefans
2018-05-20 15:23:49 +08:00
@jdjd chuansong.me
qwjhb
2018-05-20 22:14:09 +08:00
@jdjd 爬历史文章 定个 sleep 完全没问题
Livin1991
2018-05-21 11:49:54 +08:00
最近发现微信小程序也可以抓取行业新闻 但是我感觉好像是请人手动更新的 不知道是不是可以实现自动抓取？
luckystar
2018-05-21 18:58:41 +08:00
@cnqncom 现在就在爬搜狗，只是间隔时间不好把握
luckystar
2018-05-21 18:59:45 +08:00
@ik python+selenium 感觉还不错
luckystar
2018-05-21 19:00:04 +08:00
@zingl 这是个好办法！！！

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/455988

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX