Python 爬虫被屏蔽有好的办法吗？

[lixuda]

除了用 selenium 模拟外，其他还有好的办法吗？

补充：requests get 几次就返回不到正确 html，随机 user-agent，要么填验证码，要么提示我是爬虫。用浏览器访问，一直都可以。没有封 ip。selenium 也要加载久一点。

地址 http://www.ledsmagazine.com/articles/2018/04/lrc-s-mark-rea-will-lead-ul-circadian-lighting-task-group.html

[sunwei0325]

selenium 一般用来爬一些 js 搞上去的内容, 而不是解决爬虫被屏蔽的, 解决被屏蔽的方法一般是代理 ip 池, cookie 池, 随机 user-agent 等

[lixuda]

@sunwei0325 ip 没有封，user-agent 随机无效，只能打开浏览器访问就可以。

[leir]

什么网站？

[lixuda]

@leir 多 requests 几次 就被认为是爬虫，浏览器是正常的。http://www.ledsmagazine.com/articles/2018/04/lrc-s-mark-rea-will-lead-ul-circadian-lighting-task-group.html

[est]

技术不过关啊。。。。

[lixuda]

@est 是的

[huweic]

该有的 Header 都加上

[kimchan]

mark, 之前也是遇过一个网站, 用爬虫各种伪装了都不行, 用浏览器访问却可以. 最后也是只能用 selenium😂😂. 看看大神们有什么更好的方法

[lixuda]

@huweic 应该不是，selenium 我也要加载很久才可以获得。提早获得也是提升爬虫页面。

[magicO]

抓包看看浏览器访问时的包

[alen]

限速控制并发

[takato]

把并发间隔整形成高斯分布试试。

[wqzjk393]

顺便问一下，像斗鱼这种第一次爬就直接屏蔽掉，返回 404 的，该怎么处理？

[lixuda]

@alen 没有并发，就访问了 2-3 次就这样。并且间隔很久

[em70]

说明伪装得不像,一般防盗链就 user-agent 和 referer 两个参数来判断,这两个都不填,傻子都知道你是机器人

[lixuda]

@em70 我都说了，无用。selenium 我也要加载很久才可以获得真实页面

[wplct]

并不是学艺不精，看来一下这个网址的反爬确实很严格

[wplct]

各种加载 js 运行，懒得搞的话还是调用浏览器吧

[wplct]

如果是要请求较多的数据的话，记得保存 cookies 会比较好一些

[vtwoextb]

重启路由器 更换家里的动态 ip https://github.com/hizdm/dynamic_ip

[JackYao]

估计 js 检测吧， 能执行才是浏览器。

[summerwar]

贴地址 不然靠猜吗

[craftx]

请先说明是哪种方式的屏蔽

[jamesfuxk]

用抓包软件，设置好 header 啊。可以减少被封的概率的

[cuberlzy]

Chrome F12 找到接口 右键复制到 curl

然后贴到这里 https://curl.trillworks.com/ 把生成的代码运行一遍

看看行不行先～我猜多半是 Cookie 的问题

[cuberlzy]

浏览器也想被提示爬虫可以试试把 Cookie 清掉 这样多半就会提示你输验证码啦

[Telegram]

@kimchan #8 这个只能对症下药。

[Leigg]

UA 是比较基本的反爬，最好清除浏览器 cookie，打开 F12-network，再打开网站，这个时候分析一下请求的 method、header 一般就能找到关键所在

[Leigg]

你是要抓这个 URL 中的什么信息，中间的正文应该是可以直接获取的

[golmic]

浏览器可以，requests 就一定可以。愿意付费可以联系我，微信公众号 pydatame 有联系方式

[qqpkat2]

js 加密检测，了解一下

[jimmyczm]

抓包时发现应该是这个 pwhqfbsrcqtcbabfzrvevcde.js 文件作怪，在这个文件后面浏览器和 selenium 的内容变了

[soho176]

用火车头试试看！

[leir]

@lixuda 搞定了么？简单得话，火车头就可以了，要想分析的话可以看看楼 js，没有混淆，能够明显看到检查