搜狗微信反爬虫又升级啦

[hansnow]

各位在爬搜狗微信数据的童鞋，你们的爬虫还正常吗？

[simapple]

从来就没正常过，直接调取浏览器 频率稍快一点 就出验证码，交流一下 你是用什么方式

[defia]

hint:referer

[hansnow]

@simapple 我之前就用最普通的方式， requests 的 session 加上 ua ，然后直接请求就可以。。因为我量比较小，所以之前完全没遇到障碍。。

[imnoname]

有偿提供封装微信 app 公众号搜索数据的接口，有需要的吗？

[ytmsdy]

@defia 哈哈哈哈哈哈。。。

[defia]

@ytmsdy 咋..

[ibugeek]

基本上已经放弃了微信公众号的阅读了，阅读体验非常的不好，还不如去读书呢

[pyufftj]

@ibugeek 看这篇文章， http://coolshell.cn/articles/17391.html

[stcasshern]

求解释~

[gonewithsin]

@defia 爬虫获取的网址是正确的，但是因为 referer 的关系，没法从第三方的网站中直接打开这个网址（会报错），请教下这种情况有什么办法？无法通过修改浏览器来伪造 referer ，因为是要在微信内嵌浏览器中打开这个网址。

[defia]

@gonewithsin 自己把里面文章爬出来重新生成列表,不过现在好像是拿不到永久连接,会过期了

[hansnow]

@defia 在页面里的 msg_link 这个变量里保存的链接貌似不会过期，比如这种： http://mp.weixin.qq.com/s?__biz=MzA3NjI3MjgwNQ==&mid=2650452902&idx=2&sn=ea8d1fc3b7aba257d4ad3250197bebfd#rd

[defia]

@hansnow 因为我是帮朋友抓的,自己不太关注这方面除非出问题了.我看了下,我代码里也是抓这个的,但是我朋友反映好像会过期,具体就不清楚了,回头有空找他问问

[sicklife]

我可能是少数在做微信全站爬虫的人之一。。。。

[neomaidasi]

@imnoname 请联系我 [e-mail]