美团的反爬虫太厉害了，各种下毒😭

[ifsclimbing]

[akira]

只要普通用户可以正常访问，就一定有方案可以爬

[pwelyn]

道高一尺 魔高一丈 继续做对抗

[ifsclimbing]

@akira 是的，就是成本问题

[littlewing]

之前看过一个帖子，数字部分用字体做反扒的

[Zhancha]

@no1xsyzy 你这逻辑是典型的 zz 逻辑，如果没有黑客是不是所有的系统就安全了。

[zjmdp]

我只知道用 selenium 爬淘宝，滑块验证怎么都过不去，哪位大神有办法请赐教，感激不尽

[yangyifan]

@zjmdp chromeDriver 的 特征 修改了吗？

[zjmdp]

@yangyifan 是下面两个设置吗？
options.add_experimental_option('excludeSwitches', ['enable-automation'])
options.add_argument("disable-blink-features=AutomationControlled")

[zjmdp]

@yangyifan 还有下面这段
self.driver.execute_cdp_cmd(
"Page.addScriptToEvaluateOnNewDocument",{
"source":'''
Object.defineProperty(navigator,'webdriver',{
get: () => undefined
})
'''
}
)

[Cielsky]

@no1xsyzy 什么逻辑啊，反爬技术强说明他们爬虫技术也强啊。

[no1xsyzy]

@Zhancha 没有被我绕进去，这很好；但是缺乏一些专(bī)业(gé)性。

[coolmenu]

用人力分布式爬虫怎么样，外包给 10 万个印度人，没人 100 个页面。。

[Canace]

具体说下？

[karatsuba]

@coolmenu 龟龟，每人给一快钱也十万了

[ifsclimbing]

@coolmenu 好办法

[yangyifan]

@zjmdp 不不不， 还需要编译 chromedriver 的 源码 才可以解决。比如使用 chromedriver 浏览器 就会有这个 window.cdc_adoQpoasnfa76pfcZLmcfl_Array 属性。其实还有其他很多坑。自己慢慢去摸索吧。不止是 chromedriver，不管是无头还是有头的模式，如果没好好研究 chromium 代码，很容易就被发现。

[ifsclimbing]

@yangyifan 头大

[zjmdp]

@yangyifan 我是按网上的写法，直接二进制替换了字符串，看来坑不止这些。

[ml1344677]

曾经爬某网站，返回结果是一个不定长坐标 list,可以组成封闭图形。当触发反爬后，反爬也不屏蔽你 ip，也不返回空数据，，直接把这个 list 给乱序。。。导致每次还需要消耗资源检测是否组成封闭图形。 稳定运行了 2 天才发现。。总 list 保守估计上 10 亿计。

[HashV2]

@youngce #6 反爬团队和爬虫团队可能是同一拨人