求问 Python 里有没有像 Android WebView 里类似 shouldInterceptRequest 的库 可以拦截一个 request url 里所有 url 请求

2019-12-06 23:52:47 +08:00
 llillill

想爬点儿东西
浏览器里访问某一个 url
通过 chrome devtools 里发现了想要的那个请求
想获取这个请求的地址和 headers

python 里有没有现成的库可以做到的
类似 Android 里 WebView 的 shouldInterceptRequest 方法 可以拦截资源请求

1314 次点击
所在节点    问与答
2 条回复
ClericPy
2019-12-07 00:08:19 +08:00
安卓不知道, 你说的拦截, 要用 chrome 点开吗, 可以了解下 chrome 的 cdp 那套协议(说白了就是 remote debug by devtools), 拦截流量, 控制浏览器什么的都可以做到, 会点 http 和 WebSocket 的知识就能打通了, 实现过相关的库, 但是不优雅就不推荐给你了

或者直接无脑走 MITMproxy 那套, 不但能拦, 还能改呢(cdp 也可以...)
llillill
2019-12-07 00:41:40 +08:00
@ClericPy 希望是不用点开 chrome
搜了下 mitmproxy 似乎能满足我的需求 我去试试 多谢大佬~

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/626688

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX