好不容易做了网站有点流量,天天第三方爬虫来搞要放弃了

2021-06-30 22:44:59 +08:00
 herozzm

开了 cdn 每天开销不小,怎么办呢?逼我开验证码,看了一下对方是有大量 ip 池

1682 次点击
所在节点    问与答
11 条回复
NPC666
2021-06-30 22:58:52 +08:00
谷歌人机验证?
falcon05
2021-06-30 23:09:19 +08:00
这爬虫有什么特征吗?
herozzm
2021-07-01 00:00:35 +08:00
@falcon05 有 就是没有来源,直接访问,频率很高,但是 ip 不同
johnsona
2021-07-01 06:23:59 +08:00
查询 ip 是否属于云服务商 是的话直接 ban 掉

不行就 wx 扫码登陆
levelworm
2021-07-01 07:21:05 +08:00
@herozzm 难道每次都不一样的 ip 吗?同一个 ip 会短时间内连续访问几次?好奇。
hq136234303
2021-07-01 09:55:40 +08:00
只能找特征了 ip 池也不可能无限的吧。
yanzhiling2001
2021-07-01 10:32:59 +08:00
cdn 开销还好吧.www.injdk.cn, 我做的这个镜像,有段时间一天跑一百多个 g 的 cdn ,一看 nginx 日志,河南某个机房,都是同一个 ip 段一百多个 ip ,批量刷的
herozzm
2021-07-01 13:58:08 +08:00
@yanzhiling2001 就是怕封错,另外封了这个 ip 段,搞不好又来另外一个 ip 段
herozzm
2021-07-01 14:03:21 +08:00
@levelworm 感觉每次发起访问都是从 ip 池随机挑选了一个 ip,ip 没有规律
herozzm
2021-07-01 14:13:28 +08:00
@johnsona 查不到 ip 到底是什么,只能看到属于机房,唯一的特征是翻页到某个列表上百页后看,正常人不会的
herozzm
2021-07-01 18:57:20 +08:00
@johnsona 我把 ip 过滤出来,append,没法更多,有什么办法吗?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/786786

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX