如何抓取需要登录的整站点

[ts]

网站建在 amazonaws 里
但是需要登录, 这种情况如何抓取整个站点?

[zivfun]

post 登录数据，有验证码肉身登录后提取 cookie

[ts]

@zivfun 有详细点的说明吗 ..............

[ts]

@ts 小白一个啊

[bdbai]

去读读 HTTP 。

[ts]

@bdbai @zivfun


大神求解

[bdbai]

@ts （假设你有能力抓取整站）
一般的登录检查都是靠 Cookie ，因此你可以用浏览器登录并获得用于认证的 Cookie ，将它交给爬虫即可。