一个简单的 Python 爬虫,模拟登录,有问题,大神帮忙看下

2018-07-23 13:04:53 +08:00
 Aleksandr

公司的网站,想做个工具爬取跟工作相关的内容,但登录总是失败。 爬虫纯新手,大佬帮忙看下? import requests from requests.packages import urllib3 from http.cookiejar import CookieJar

urllib3.disable_warnings()

headers = {

"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"

}

url = "https://clm.patac.shanghaigm.com/ccm/auth/authrequired" s = requests.Session() data = { 'j_username': '******', 'j_password': '******' }

response = s.post(url, data=data, verify = False,headers = headers) print(response.text)

本来要爬的网页是 https://clm.patac.shanghaigm.com/ccm/web,爬这个网页会重定向到 https://clm.patac.shanghaigm.com/ccm/auth/authrequired,所以我干脆 post 了 https://clm.patac.shanghaigm.com/ccm/auth/authrequired,不过代码执行下来,虽然 是 200 的状态码,但明显不是登录成功的页面,求指教。。。

1135 次点击
所在节点    问与答
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/473282

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX