公司反爬虫产品测试,目前处于 alpha 版本,正在寻求测试客户,无奈社区问一波,有需求的伙伴看过来

2019-04-02 10:56:00 +08:00
 chocho
反爬虫产品,主要为网站提供反爬虫安全防护,目前有一些业务方集成在自己的业务中去做,我们提供的是一整套防护方案,包括爬虫发现和拦截手段,部署结构采用流量反代的模型,既不影响原业务的开展,也可以拦截大量脚本,模拟器流量。

前期测试阶段主要通过合作的形式,alpha 版本提供免费测试名额。
4393 次点击
所在节点    Python
38 条回复
szpShang
2019-04-02 14:26:35 +08:00
@c4f36e5766583218 难度越高,用户体验就会差。体验差,用户量就会减少。一个应用如果用户量少,数据也就失去价值,那还爬它作甚。
chocho
2019-04-02 14:28:29 +08:00
@szpShang 是的,但是我们这个不会搞那么复杂,正常情况下,用户是不会感觉到有防护的,主要针对爬虫来讲门槛会提高一些
chocho
2019-04-02 14:29:50 +08:00
@Johnson66 是这样的,但是不会让爬虫那么轻易的就爬到数据,一方面主要是保障业务稳定,另外那些人工打码操作的,就没法防御
szpShang
2019-04-02 15:00:22 +08:00
@chocho http 本来就是无状态的协议。就是永远也不知道当前的协议是什么状态的。
就好比计算机本来设计规则让水从高处向低处流。而你却在这个设计规则上去忤逆这个设计让水从低处向高处走。
互联网的技术都是防止数据传输时候泄漏。现在变成要识别客户端利用刚浏览的数据对发布者是否有弊端。
抛开如何繁琐的 cookie 获取历程的技术问题(完全可以人工操作掉)。这个业务真的是有意义吗。

以前爬取携程时候,如果爬取太频繁,价格就会故意错乱。个人猜测杀熟技术就是源于此。你这个业务真的是识别爬虫还是识别老用户,为杀熟技术提供温床。
chocho
2019-04-02 15:06:59 +08:00
@szpShang 分析和很到位,这种的太敏感的数据,很多公司做了不少的账号权限,可以规避这种问题,与反爬虫要解决的安全风险问题有重叠,cookie 这些都是不错的防御方案,但是明显如你所说,完全在前端做太多的文章是没有意义的,可能需要一些新的思路来解决这个问题
joesonw
2019-04-02 16:14:53 +08:00
summer1988
2019-04-02 18:20:28 +08:00
我觉得限制型反扒没必要, 假数据貌似更有意思一点
chocho
2019-04-02 18:25:40 +08:00
@summer1988 数据投毒是吧
xuminzhong
2019-04-02 22:29:55 +08:00
@joesonw 谢谢,我们有使用类似服务。
51300520
2019-04-03 01:14:43 +08:00
标记 一下
chocho
2019-04-03 09:53:16 +08:00
@xuminzhong 你们也用了反爬虫?你不是爬虫吗?
ghmasiol
2019-04-03 10:18:06 +08:00
以前用 es 分析 nginx 日志,用 iptables 封,感觉误封了好多搜索引擎爬虫...
chocho
2019-04-03 11:07:47 +08:00
@ghmasiol 反爬虫的效果怎么样?搜索引擎的话 可以使用 DNS 反解 或者 购买 IP 来实现
chocho
2019-04-04 14:52:44 +08:00
还有小伙伴吗?我再来问一波
Northxw
2019-04-04 22:58:30 +08:00
如果很牛逼的话 误伤呢?
cstackess
2019-04-09 16:27:47 +08:00
安全的博弈,最终是成本的博弈,没有价值的东西才是最安全的
chocho
2019-04-15 15:16:12 +08:00
@cstackess 哈哈,不见光的东西,又有价值的才是安全的,比如说古墓?
liwenbest
2019-05-01 13:57:42 +08:00
@xuminzhong 可以加下联系方式吗 QQ 或微信都可以

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/551147

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX