有做过搜狗微信爬虫的吗,遇到个问题 列表的 url 不能直接访问...

[yasumoto]

报上我需要爬的页面
https://weixin.sogou.com/weixin?query=%E8%83%83%E7%99%8C&type=2&page=2&ie=utf8

标题详情图片就不说了 现在是抓取详情页链接有点问题
https://i.loli.net/2019/12/05/8BUwOrAKyCEquoN.png

在浏览器里点击标题可以直接点开 但是直接用这个 a 标签访问就出错
https://img03.sogoucdn.com/app/a/100520146/875f2270b05957ccaa5a83db3383a7f5

我抓包了一下 发现 a 标签里面的链接是个'假链接' 真链接隐藏在这里
https://i.loli.net/2019/12/05/ExzM8A5QcUrVOwu.png

我现在就想去抓到真链接 各位大佬有啥思路吗

[yasumoto]

看了网上挺多文章 说是多了&k=1&h=f 但是我看现在列表 a 标签就自带&k=1&h=f 的

[heiheidewo]

带上 cookie

[littleylv]

请求链接的时候带上 referer 试试

[iamdaguduizhang]

这个啊，a 标签绑定的有监听事件的。点击的时候会生成一个新的 url，请求这个 url 会返回最终的文章链接的。

[zixiaoguan]

看样子是列表的每一项必须要通过 link 接口获取真实的页面地址并重定向。你也可以通过那个接口获取页面内容并解析

[yasumoto]

@iamdaguduizhang 对的 是这个逻辑

[yasumoto]

@heiheidewo
@littleylv
带上 Referer 和 Cookie 一起 请求 postman 已有返回结果谢谢
https://img02.sogoucdn.com/app/a/100520146/2e4378d585a5e2ffc83a52048d0d6ab2