富士拍立得 /雷蛇（ Razer ）萨诺狼蛛专业游戏薄膜键盘 /绿联 Type-c 转 HDMI/VGA 扩展坞 三选一，我选拍立得。

1024

万一中奖了呢 略略略~

1024

@zidian9 --！ 先不说目前一部分网站的反爬已经能识别 headless，光是资源耗占以及抓取效率大部分公司都是不会采用的，一部分网站的思路倒是可以通过浏览器拿到 cookie，然后再抓包进行操作

现在爬虫真的是好难搞啊，我最近在公司里面也是很苦难，面对对方频繁更换反爬策略无从下手，一会儿更换验证码，一会儿更换封 ip 频率，从 PC 端搞到 APP 端，不过说实话现在 APP 的反爬还没 PC 那么严重，得会一些反编译手段，脱壳，逆向，有 JAVA 功底应该不难。现在我也是很苦恼，到底是在 PC 端一路走到底，把 JS 给弄透吃透，还是去好好搞 APP 端，把反编译，逆向这些给弄明白，又或者是在验证码机器学习识别上下功夫

@stephen2018 可以尝试下 pyqt

@locoz 现在是在尝试 app 了，pc 端的搞不定--！

@angkee 可以啊 留下你的 v

自学，写了很多小网站爬虫，可以看一下 --> https://github.com/wc110302/My-spider

@xiaozizayang 尝试了一下--！ 会被反爬虫识别 出现验证码
Pardon Our Interruption
['//cdn.distilnetworks.com/images/anomaly-detected.png']

@valord577 感谢分享。 但是 selenium 效率确实是太低了 并且消耗资源较多 抓取数据的量又比较大 单一个 cookie 只能使用 4-5 次 所以暂时不考虑走 selenium 实在不行的话就只能走 app 端了

@handan @onexpiece @dapengzhao https://www.flyscoot.com/zh

@richieboy cookie 是动态生成的没错 我用相同的 P 参数每次从 response headers 里面拿到的 cookie 都不一样 然后我将这些 cookie 拼接之后和正常生成的 cookie 对比了一下 是一模一样的 但是用这个 cookie 就无法拿到数据 而真实的 cookie 就可以 并且有趣的是 我如果用该 ip 去真实访问了这个网站 这个 cookie （我自己 requests 伪造生成的）也可以用了

@vegetta selenium 就是效率太低了 并且该网站会检测无头 无 js 这样也加大了服务器的负载

@exip 参数应该没有遗漏 我在使用某一个 ip 拿到所有 cookie 之后 如果我使用这个 ip 真实地用浏览器访问了该网站 那么我之前拿到的那个 cookie 就能使用一段时间 具体原理我也不太明白 也许是他们记录在了服务器上

@nooper 是尝试过的 但是效率太低了 不符合预期 并且并发的情况也不太理想

@ericgui 是挺费劲的 啥都要学一点 js 要学 接口要会做 app 端 wechat 端 pc 端得会抓包 偶尔还得做个 GUI 什么的

https://i.loli.net/2018/09/27/5bac44a20e9c0.png 这是一直关于 distil networks 的 fiddler 跟踪图片 p 参数记录的是浏览器指纹 我现在多次使用这个 p 参数 是能拿到返回值的 但是这个返回值拿不到正确的数据