爬虫遇到在浏览器中刷新三次页面才能打开的网站

[ranlele]

爬虫遇到在浏览器中刷新三次页面才能打开的网站怎么办，第一次刷新,粉丝，关注，作品全是 null，第二次也是 null，第三次刷新才能拿到具体的数值,有大佬分享下思路吗？ https://live.kuaishou.com/profile/3xsm4gufvu5cfhm

[ranlele]

这是快手的个人信息页面

[matthewz]

设置 cookie 就行了啊

[ranlele]

自己尝试的第一次访问，返回 did，第二次，第三次带着 did 使用 session 访问，依然获取不到数据。

[Takamine]

那就用 selenium 刷新三次页面怎么样:doge:。

[holajamc]

Cookie 变化 用 mitmproxy 抓包康康

[ranlele]

selenium 开无头模式就不行。不开无头模式可以使用 did 参数。 cookie 没有变化。

[holajamc]

https://zhaoji.wang/how-to-detect-chrome-headless/

[ranlele]

@holajamc 我再尝试一下，使用无头模式。

[TypeErrorNone]

说明返回数据不是用的 url 参数，是根据 cookie 中的数据来获取的。
你每次有新的 url 就先访问下，记录 cookie，再带着 cookie 访问一次拿数据。

[ranlele]

@TypeErrorNone 我觉得，可能就是对这个 cookie 中的数值进行操作的。刷新三次，发送了好多个请求，我现在在模拟这些请求。

[opengps]

等待时间不够所以为 null 吧，加点延时进去再爬取

[keji]

带上 cookie did 应该就可以了