woshichuanqilz 最近的时间轴更新
woshichuanqilz

woshichuanqilz

V2EX 第 139700 号会员,加入于 2015-09-24 16:24:49 +08:00
Chrome 如何快速获取 request header?
Python  •  woshichuanqilz  •  3 天前  •  最后回复来自 woshichuanqilz
10
Linux 如何显示文件夹拷贝或者移动的进度条
Linux  •  woshichuanqilz  •  18 天前  •  最后回复来自 aloxaf
8
Python 二进制读文件 转换 float 失败
问与答  •  woshichuanqilz  •  23 天前  •  最后回复来自 peonone
4
Linux 命令行设置剪切板的问题
Linux  •  woshichuanqilz  •  62 天前  •  最后回复来自 woshichuanqilz
10
manjaro 设置 i3 为默认登录桌面的方法
Linux  •  woshichuanqilz  •  65 天前  •  最后回复来自 toexplore
3
爬取亚马逊使用代理的问题
Python  •  woshichuanqilz  •  91 天前  •  最后回复来自 gluttony
8
woshichuanqilz 最近回复了
3 天前
回复了 woshichuanqilz 创建的主题 Python Chrome 如何快速获取 request header?
解决了谢谢各位的帮助, 主要参考的是 @Cleric 的思路, 我用了 pychrome

基本代码在这里比较粗糙

```
import pychrome
from urllib.parse import urlparse
import subprocess, signal
import os
import time


def killprocess(pname):
p = subprocess.Popen(['ps', '-A'], stdout=subprocess.PIPE)
out, err = p.communicate()
for line in out.splitlines():
pinfo = line.decode().lower()
if pname in pinfo:
pid = int(line.split(None, 1)[0])
os.kill(pid, signal.SIGKILL)

header = dict()
url = "https://www.dogedoge.com"
if not url.endswith('/'):
url += '/'
domain = urlparse(url).netloc
killprocess('chrome')
cmd = 'google-chrome-stable --remote-debugging-port=9222'
p = subprocess.Popen(cmd.split(), stdout=subprocess.PIPE)
time.sleep(3)

# 创建一个浏览器实例
browser = pychrome.Browser(url="http://127.0.0.1:9222")

# 新建一个页签
tab = browser.new_tab()


# 需要注册的回调函数
def request_will_be_sent(**kwargs):
if url == kwargs.get('request').get('url'):
header = kwargs.get('request').get('headers')
return


tab.Network.requestWillBeSent = request_will_be_sent

# 开始接收消息, requestWillBeSent 事件发生时被注册的回调函数也可以执行
tab.start()

# 调用方法
tab.Network.enable()

# 调用方法并设置超时时间
tab.Page.navigate(url=url, _timeout=5)
input()
# 等待页面加载
tab.wait(5)

# 停止处理事件, 停止从 chrome 接收消息
tab.stop()

# 关闭页签
browser.close_tab(tab)

```
23 天前
回复了 woshichuanqilz 创建的主题 问与答 Python 二进制读文件 转换 float 失败
@lcdtyph Thanks 已感谢
62 天前
回复了 woshichuanqilz 创建的主题 Linux Linux 命令行设置剪切板的问题
@secondwtq 正解,alias xclip='xclip -sel clipboard' xlicp 默认不是我们一般认为的剪切板
@Trim21 可以但是这个是是代理的问题吗
@gesse 两个方法用的信息基本是一样的 你说的指纹具体指的是什么这个例子能修改吗
@locoz
你好我用了 fiddler 抓包 但是 aiohttp 的请求在 fiddler 里面不显示。

requests 是正常的。

aiohttp 的抓取过程是有的 有页面保存下来
92 天前
回复了 woshichuanqilz 创建的主题 Python 爬取亚马逊使用代理的问题
@ooh 什么意思
92 天前
回复了 woshichuanqilz 创建的主题 Python 爬取亚马逊使用代理的问题
@zh1997 一个验证页面就是填验证码的页面
92 天前
回复了 woshichuanqilz 创建的主题 Python 爬取亚马逊使用代理的问题
@gluttony 本地 IP 不加代理可以的
@ggggitfkbjg 你好想共享一下账号
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4577 人在线   最高记录 5168   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms · UTC 08:17 · PVG 16:17 · LAX 01:17 · JFK 04:17
♥ Do have faith in what you're doing.