首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
工单节点使用指南
• 请用平和的语言准确描述你所遇到的问题
• 厂商的技术支持和你一样也是有喜怒哀乐的普通人类,尊重是相互的
• 如果是关于 V2EX 本身的问题反馈,请使用 反馈 节点
neoFelhz
V2EX  ›  全球工单系统

在腾讯云 CDN 上服务被恶意攻击跑了 2T 流量

  neoFelhz · 2017-09-14 23:27:57 +08:00 · 12681 次点击
这是一个创建于 866 天前的主题,其中的信息可能已经有所发展或是发生改变。

主要问题是,我在腾讯云 CDN 后台是设置了 QPS 限制为 100 (在发现攻击以后将 QPS 设置为 10 )。 检查了日志,攻击者主要使用 Vutlr 的肉鸡发动攻击,攻击者 IP 数量不超过 10 个,但是在遭受攻击的 1 小时之内攻击者发起了 4000 万次请求。简单的计算都能知道,这绝对远远不止 100 QPS。也就是说,腾讯云后台的 IP 访问限频配置 完全形同虚设。 所以,我想确切了解一下,腾讯云 CDN 的 IP 访问限频配置 是否真的有效,是否真的能够抵御恶意刷流量的 CC 攻击。如果的确是腾讯云 CDN 没有抵抗 CC 攻击的能力、或者是技术故障,腾讯云客服给我报出的 690 元费用,我理应获得 50% 到 60% 的费用减免。

顺便说一句,腾讯云后台工单日常只会回复 您好,已经反馈后台,有新进展会工单反馈您,请您耐心等候。 。然而并没有给我有效的反馈,也没有确切告诉我腾讯云 CDN 节点上是否对 CC 攻击进行了拦截。

腾讯云客服甚至连是我接入的哪个域名受到了攻击都无法确定。。。

第 1 条附言  ·  2017-09-15 00:01:29 +08:00
攻击者的几个 IP,其中部分购买了 Vutlr 高防。
45.76.232.143
45.76.232.146
45.63.92.168
45.32.95.61
45.63.124.112
45.76.147.80
第 2 条附言  ·  2017-09-15 00:40:28 +08:00
假设我自己没有做任何 QPS 限制,那么是我自认倒霉,我也心安理得付 690 块钱。

实际上就是我之前就考虑了我可能遭遇 CC,提前设置了 100QPS。
当攻击发生十分钟以后,我甚至将 QPS 阈值降到了 10,但是攻击丝毫没有得到缓解。
直到攻击一小时后腾讯云放出上一小时的日志,我拉黑了六个 B 段 IP 才结束了攻击。

我在腾讯云后台的工单中,腾讯云客服和工程师一直支支吾吾和搪塞,拒绝告诉我他们节点关于 QPS 拦截相关的事实。

<-- 以上摘抄修改至我在 #5 的回复 -->

我问了问其它使用腾讯云 CDN 的人,他们也反应的确腾讯云的 QPS 限制就是形同虚设、毫无作用。

我认为,我要求费用减免丝毫不过分,毕竟这直接是腾讯云 CDN 节点的技术问题。我需要腾讯云专门的工程师给我一个令人信服的答案。
第 3 条附言  ·  2017-09-15 15:24:58 +08:00
在 QQ 上和腾讯云客服上交流了一下,问题解决了。
总体来说腾讯云客服这一次的态度挺好的,他们的说法是在控制台的说明不明确导致了误解,给予了我一定量的补偿。我也同意这样的处置结果。
所以,大家可以散了。
52 回复  |  直到 2018-03-06 01:37:05 +08:00
mokeyjay
    1
mokeyjay   2017-09-15 00:02:24 +08:00
呜哇,心疼~
liuminghao233
    2
liuminghao233   2017-09-15 00:04:19 +08:00 via iPhone   ♥ 1
计流量的 cdn 被 cc 肯定要吃亏的
UnisandK
    3
UnisandK   2017-09-15 00:14:03 +08:00
既然设置了频率限制还被刷了,这个腾讯云是该担一部分责任了,关注一下
Xrong
    4
Xrong   2017-09-15 00:16:03 +08:00
老铁直接上百度云加速吧,对比下价格和服务你会发现真是国内良心厂家了。。。
neoFelhz
    5
neoFelhz   2017-09-15 00:20:35 +08:00 via Android
@UnisandK 假设我自己没有做任何 QPS 限制,那么是我自认倒霉,我也心安理得付 690 块钱。

实际上就是我之前就考虑了我可能遭遇 CC,提前设置了 100QPS。
当攻击发生十分钟以后,我甚至将 QPS 阈值降到了 10,但是攻击丝毫没有得到缓解。
直到攻击一小时后腾讯云放出上一小时的日志,我拉黑了六个 B 段 IP 才结束了攻击。

我在腾讯云后台的工单中,腾讯云客服和工程师一直支支吾吾和搪塞,拒绝告诉我他们节点关于 QPS 拦截相关的事实。

我认为,我要求 60% 的费用减免丝毫不过分,毕竟这很可能是腾讯云 CDN 节点的技术问题。
gstqc
    6
gstqc   2017-09-15 00:24:50 +08:00 via iPhone
QPS 限制应该只能做到单机 /单集群吧,或者单机根据来源 IP 限制
全网节点怎么限制?需要实时共享全国 /全球服务器请求信息再决定是否响应请求,这除非有黑科技

所以如果对所有 IP 进行攻击,并不是全网 100 QPS
另外如果网站有较大的文件,QPS 作用不大
Zohar
    7
Zohar   2017-09-15 00:34:09 +08:00 via Android
心疼(´Д⊂ヽ
neoFelhz
    8
neoFelhz   2017-09-15 00:36:39 +08:00 via Android   ♥ 4
@gstqc 他攻击的文件大小只有 92kb,肉鸡 IP 只有 10 个不到,其中大部分我都 append 了。
攻击者同时攻击了我绑定在又拍云上的另一个域名,但是又拍云只跑了 22G 流量攻击请求就被 QPS 阈值拦截了。
这不是黑科技,这是能实现的。
atc
    9
atc   2017-09-15 00:46:30 +08:00
心疼 lz
在别的地方也看到过企鹅云因攻击产生高额账单的事情,事实证明它技术就是不行,限制根本没卵用
hundan
    10
hundan   2017-09-15 00:48:17 +08:00 via Android
我得说,我测试的时候是有效的。
之前我搭建了一个 hexo 放在腾讯云托管,加 cdn,qps 开启调到 10。然后,页面成功出错,在一秒内加载第十一个医院的时候出现了加载失败的情况,当时导致页面空白了。
因此我觉得,还是有点用的。
hundan
    11
hundan   2017-09-15 00:49:17 +08:00 via Android
医院→资源
xcold
    12
xcold   2017-09-15 00:50:48 +08:00
服务器层面做限流意义太小了~还是得靠机房和网络出口
MangozZ
    13
MangozZ   2017-09-15 01:06:43 +08:00
流量计费 690 就不错了。。。
如果是宽带计费,分分钟彪到 9000.

https://www.qcloud.com/document/product/228/562
[DDoS 攻击或 CC 攻击造成带宽 /流量剧增时,10Gbps 以上部分予以免除。]
10Gbps=¥ 9000
togodo
    14
togodo   2017-09-15 08:19:58 +08:00
腾讯一直是这个吊样子
whx20202
    15
whx20202   2017-09-15 09:12:19 +08:00
又拍云就是很给力啊 QOS 这块做的很好,我当时建站也考虑到了,然后就在阿里云提工单,但是阿里云的功能并不完善,最后选择了又拍云

又拍云还专门打电话我问是不是被攻击过,为何看重这点选择他们
metorm
    16
metorm   2017-09-15 09:15:55 +08:00 via Android
心疼……
neoFelhz
    17
neoFelhz   2017-09-15 09:18:09 +08:00 via Android
@whx20202 #15
没错。我的另一个绑定在又拍云的域名昨天晚些时候也被 CC 攻击了,HTTPS 请求数 1700W,流量 64G,然而这部分攻击的流量根本没有算在我的账单里面。
tencentcloud
    18
tencentcloud   2017-09-15 09:21:06 +08:00
您好,您反映的问题正在为您核实跟进,请您留意稍后客服人员联系
tencentcloud
    19
tencentcloud   2017-09-15 09:21:47 +08:00
@neoFelhz 您好,您反映的问题正在为您核实跟进,请您留意稍后客服人员联系
chairuosen
    20
chairuosen   2017-09-15 09:24:07 +08:00
看开一点,起码不是 800PB
Norie
    21
Norie   2017-09-15 09:33:19 +08:00   ♥ 2
估计你没有充云钻,开 SVIP 吧
woshinide300yuan
    22
woshinide300yuan   2017-09-15 09:53:06 +08:00
开个每日上限能死吗~ 各云 CDN 厂家都没有这个设定!
coolcoffee
    23
coolcoffee   2017-09-15 10:14:18 +08:00
@woshinide300yuan 会。 不赚钱,公司就死了
18725769609
    24
18725769609   2017-09-15 10:26:59 +08:00 via Android
一般来说被打都是立刻关闭 CDN 封堵 IP 楼主以后自己长点心吧 ,这种问题腾讯云应该也会给你解决 耐心等待吧
TestSmirk
    25
TestSmirk   2017-09-15 10:37:44 +08:00
吓得我赶紧看了一下我的 cdn,目前还稳定在 10mb 每天.
youxiachai
    26
youxiachai   2017-09-15 10:38:54 +08:00
又拍云实力抢镜...
1024MB
    27
1024MB   2017-09-15 10:45:44 +08:00
腾讯云不是 10Gbps 以上部分予以免除嘛,耐心等待不就好了,在这里发这些有什么用,又不是不给处理,你来讨个公道什么的。在说了,处理问题本来就需要时间,又不是神。
wzh015
    28
wzh015   2017-09-15 10:48:31 +08:00
对于分布式 CDN 攻击现在大部分厂商及服务商都是无解的,一堆包扔过来,你知道那个是正常用户,那个是攻击包。道高一尺魔高一丈,有啥办法。而且感觉又拍云才是是楼主想表达的?
tanm
    29
tanm   2017-09-15 10:53:37 +08:00
设置了还被刷,是因为攻击是瞬间的,服务商 5 分钟同步一次数据,那很大可能就是会有超出的,这个目前所有厂商好像都是一样计算的,最后要以实际发生的攻击计费。又拍云攻击的流量没有算在你的账单里面,会不会是 T+1 计费?另外告诉你个不需要提交工单的 ,网宿 讨论组喊话 需要了解可以交流下。。。
neoFelhz
    30
neoFelhz   2017-09-15 11:00:58 +08:00 via Android
@wzh015 #28 我怀疑你语文阅读没有过关。
我说了,攻击者只有 10 个 IP,一小时创造了 4000w 请求,远远超过了 100QPS。
腾讯云的日志是第二小时提供上一小时的日志的,所以我不得不在第二小时等日志出了才一口气拉黑了 6 个段结束了攻击。
wibile
    31
wibile   2017-09-15 11:08:55 +08:00
@wzh015 理解力感人。。。。
wzh015
    32
wzh015   2017-09-15 11:11:31 +08:00
@neoFelhz 加了 CDN 能服务器能查看实时的访问 IP 吗?这个我不清楚诶???所以你是怪腾讯云提供的访问日志晚了?你是需要实时提供访问 ip 日志的?
youxiachai
    33
youxiachai   2017-09-15 11:15:33 +08:00
@wzh015 上面有个又拍云成功案例...就是因为又拍云这样的小厂都能搞定..反而..腾讯这样大厂搞不定...lz 觉得说不过去..
gstqc
    34
gstqc   2017-09-15 11:16:49 +08:00
@neoFelhz 其实攻击可能是这样发生的:
攻击者先抓了 CDN 全部的 IP
然后对所有 IP 发起请求,降低单个目标 IP 的请求频率
这样每个来源 IP 和目标 IP 的 QPS 只需要十来个,都能达到一小时 4000 万
比如 CDN 有 100 个 IP,那 40000000 / 100 个 CDN IP / 3600 秒 / 10 个攻击 IP = 11.1 QPS

主要的问题在于 QPS 限制的逻辑和架构
1024MB
    35
1024MB   2017-09-15 11:17:33 +08:00
@youxiachai 也就是说又拍云才是楼主想要说的重点?
youxiachai
    36
youxiachai   2017-09-15 11:18:34 +08:00
@1024MB 因为上面有人说..这玩意技术上实现不了...lz 才举了又拍云这个例子...
8355
    37
8355   2017-09-15 11:36:57 +08:00
我们挂 app 下载的 OSS 高峰一个月也就 2T 多一点 还是安卓推广以及更新频繁的时候主要下载 app 出的流量
贼恐怖哇
neoFelhz
    38
neoFelhz   2017-09-15 11:57:25 +08:00
@gstqc #33 腾讯云如果不是大客户,分配到的节点都很可怜的。
而且,我在后台检查了 CDN 后台的访客来源和 DNS 上的解析记录,他们都是通过正常 CNAME 解析拿到 IP 后发动攻击的。
talebook
    39
talebook   2017-09-15 12:06:39 +08:00   ♥ 1
作为腾讯云 CDN 团队研发人员,我来讲下:

1、腾讯云 CDN 的 IP 限频就是单 IP 单节点的 QPS 限制,不是全网的,分布式攻击的确会被刷流量。我们在 wiki 文档中有详细说明 https://www.qcloud.com/document/product/228/6420
2、我们检查了了后台的配置记录,基本上是 QPS 调整后,17:30 开始攻击流量就被限制住了(表现为 514 飙涨,200 剧降,流量剧降)

PS:我们之所以不做全局唯一 QPS 的限制,产品的考虑是:攻击经常是发生在单个 IP 的,分布式的限制能够让其他不被攻击的节点继续正常服务。全局 QPS 我们也是能做(实际上某些客户就是在用了),但是基于产品策略的考虑,我们没有公开出来。

PPS:我们控制台上的确没有做好引导提示,正在让前端小哥发版本修改了;我们尝试电话联系楼主,一直没打通电话。麻烦请楼主私信我。

@neoFelhz
neoFelhz
    40
neoFelhz   2017-09-15 12:18:56 +08:00
@talebook #38 我已经在腾讯云工单上说明了可以在 11:45 联系我,或者可以通过 QQ 和我联系。
zjlin1984
    41
zjlin1984   2017-09-15 12:31:39 +08:00
路过
techeek
    42
techeek   2017-09-15 12:35:29 +08:00
刚刚细心看了下官方的文档,结合楼主的问题,得出如下结论,不吹不黑。
1、企鹅家(腾讯云)的 CDN 的 IP 限频是单 IP 单节点 QPS 限制,不是全网的,分布式攻击肯定会被刷流量。
2、100Qps 改成 10Qps 配置生效就需要时间,不是马上就生效的。
3、配置有没有帮助防护攻击,可以拉日志看下 514 数量,就知道有没有效。
个人见解,如有不对,希望各位提出。
Genteure
    43
Genteure   2017-09-15 12:39:57 +08:00
@talebook #39 产品的考虑是:攻击经常是发生在单个 IP 的,分布式的限制能够让其他不被攻击的节点继续正常服务。

这句话没有太理解。为什么全局限制会导致单个 IP 收到攻击时影响其他节点呢?
一个(请求者的) IP 在已经对 A 节点发起攻击的情况下,B 节点就算拒绝掉同 IP 来的请求也无所谓的吧?完全不需要考虑让 B 节点在这种情况下正常服务该 IP 发来的请求。
talebook
    44
talebook   2017-09-15 13:14:06 +08:00 via iPhone
@Genteure QPS 不是按客户端 client_ip 统计的。

全局 QPS 限制是指,黑客攻击 A 节点,触发 QPS 限制后,如果有正常用户访问没被攻击的 B 节点,那么依旧会被限制住。

我们现在提供的是单节点单 IP 维度的 QPS,也就是说 A B 节点是独立统计 QPS 的,黑客攻击 A 节点,触发 QPS 限制后;如果有正常用户访问没被攻击的 B 节点,会能继续访问成功。
Genteure
    45
Genteure   2017-09-15 13:42:13 +08:00
@talebook #44
所以是假设设置了 10 QPS 的限制
用户 A ( IP A ) 一秒访问了 10 次
用户 B ( IP B ) 同一秒访问同一个节点就会被限制
这样的?
emmmmmm......

那你们文档上写的可是
“通过对每一个 IP 在每一个节点每一秒钟访问次数进行限制”( https://www.qcloud.com/document/product/228/6420
oneoo
    46
oneoo   2017-09-15 13:42:28 +08:00   ♥ 1
提供单节点单 IP 唯独的 QPS 控制,是技术难度和实现成本都最低的方式。其实能有得提供也不错了,普通厂商连这个都没

而又拍提供的是单节点内 QPS 控制,在节点内使用共享计数器来进行统计的,实现难度和成本都高一些。当然跨节点,实现全局 QPS 控制我们在努力开发中,相信很快能提供给大家使用。



这点事没必要绕来绕去的,多点真诚~
7DLNU56W
    47
7DLNU56W   2017-09-15 14:21:47 +08:00
被攻击了是你自己的事呀,另外人家明明有带宽封顶的配置,为啥不去设置啊?且我记得 DDoS 或 CC 攻击造成带宽 /流量剧增时 10Gbps 以上的部分可以免除呀!
neoFelhz
    48
neoFelhz   2017-09-15 15:11:11 +08:00 via Android
@7DLNU56W #46
站着说话不腰疼?我后端还要不要了?直接把静态资源存放的源站服务器炸掉? CDN 分发静态文件本来就是动静分离降低源站负载,剥离源站多于服务的。

没看图?攻击者峰值 10.82Gbps,我能免多少?

已经 block。
Felldeadbird
    49
Felldeadbird   2017-09-15 17:16:00 +08:00
2TB 流量,楼主应该是遇到同行打压吧?至少说明站点有一定内容流量啊。
不过事情解决就好好事情
Mitt
    50
Mitt   2017-09-18 13:41:41 +08:00
感觉这楼可以 block 掉三四个人
xinxin9527
    51
xinxin9527   2017-09-18 14:29:48 +08:00
CDN 恶意跑了的流量要是可以退就很人性化了,毕竟这是 CDN。
相对来说,使用的加速乐 CDN 还是不错的,价格相对还是能接受。
1265578519
    52
1265578519   2018-03-06 01:37:05 +08:00
2TB,跑路吧
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   878 人在线   最高记录 5168   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 27ms · UTC 23:24 · PVG 07:24 · LAX 15:24 · JFK 18:24
♥ Do have faith in what you're doing.