上 https 的接口怎么爬取了？

2018 年 10 月 27 日
 rupert
比如 豆瓣 APP 的接口，这种上证书的接口怎么爬取了？ 有人试过吗
3386 次点击
所在节点    程序员
10 条回复
d5
2018 年 10 月 27 日
有区别嘛，只要没有 ssl-pinning
t6attack
2018 年 10 月 27 日
带上证书或者忽略证书错误。其他都一样。
比如 curl 有三个相关参数。CURLOPT_CAINFO、CURLOPT_SSL_VERIFYPEER、CURLOPT_SSL_VERIFYHOST。
jugelizi
2018 年 10 月 27 日
基本的搜索都不会用？
leoleoasd
2018 年 10 月 27 日
他说的是抓包吧..
tetsai
2018 年 10 月 28 日
立即 mitmproxy
rupert
2018 年 10 月 28 日
@tetsai 这个可以
Marven
2018 年 10 月 28 日
charles,手机配置一下证书，就能抓到 https 的包了
rupert
2018 年 10 月 29 日
@Marven 这样只能抓包不能爬取
luckyc
2018 年 10 月 31 日
https 照爬啊，上 python
urllib3 上星期还爬了某 https 几十万数据下来。
rupert
2018 年 11 月 2 日
好吧，cUrl 加上参数 --insecure 就可以了， 不知道这是什么原理

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/501748

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX