CDN 统计显示 203.208.60.0 这个 IP 区间的多个 IP 消耗我 13G 流量，我是被攻击了吗？

[jiandan123]

以前每个月 CDN 流量大概 20G，这个月第一周就消耗了 13G。
查看 CDN 统计时，发现流量排行前 100 的 IP 中，大部分都来自同一个 IP 区间 203.208.60.0。
我是否被攻击了呢？我是否需要把这个 IP 区间加入黑名单呢？求大佬指点一下。我在网站安全方面不是太有经验。
1 - 5.45.207.47 - 1.0525 GB
2 - 219.239.12.2 - 857.7352 MB
3 - 188.206.78.106 - 732.5401 MB
4 - 203.208.60.43 - 378.4357 MB
5 - 203.208.60.59 - 331.0278 MB
6 - 203.208.60.61 - 239.2964 MB
7 - 203.208.60.29 - 232.8526 MB
8 - 203.208.60.102 - 226.6683 MB
9 - 141.8.183.25 - 223.3472 MB
10 - 203.208.60.71 - 220.3246 MB
11 - 203.208.60.85 - 216.4131 MB
12 - 66.249.79.140 - 214.9275 MB
13 - 203.208.60.33 - 206.0750 MB
14 - 203.208.60.123 - 206.0618 MB
15 - 203.208.60.0 - 206.0428 MB
16 - 203.208.60.118 - 204.3980 MB
17 - 203.208.60.64 - 204.1226 MB
18 - 203.208.60.8 - 204.0588 MB
19 - 37.9.113.84 - 202.2320 MB
20 - 203.208.60.105 - 197.6609 MB
21 - 203.208.60.47 - 196.6713 MB
22 - 203.208.60.91 - 193.9569 MB
23 - 203.208.60.6 - 189.9626 MB
24 - 124.78.195.86 - 185.6575 MB
25 - 47.90.96.219 - 183.1573 MB
26 - 203.208.60.49 - 180.3980 MB
27 - 203.208.60.52 - 179.5407 MB
28 - 82.66.34.75 - 172.8540 MB
29 - 203.208.60.79 - 171.5141 MB
30 - 203.208.60.72 - 169.3324 MB
31 - 203.208.60.56 - 168.5471 MB
32 - 95.179.223.235 - 167.8768 MB
33 - 203.208.60.67 - 161.6015 MB
34 - 203.208.60.44 - 155.7629 MB
35 - 203.208.60.12 - 147.0107 MB
36 - 203.208.60.18 - 142.9138 MB
37 - 203.208.60.62 - 142.8520 MB
38 - 203.208.60.92 - 140.8669 MB
39 - 203.208.60.115 - 140.6240 MB
40 - 203.208.60.24 - 132.0752 MB
41 - 66.249.79.138 - 131.6240 MB
42 - 203.208.60.30 - 130.7640 MB
43 - 203.208.60.17 - 130.7553 MB
44 - 203.208.60.70 - 128.2368 MB
45 - 203.208.60.82 - 123.2394 MB
46 - 203.208.60.26 - 123.2227 MB
47 - 113.246.185.207 - 122.6420 MB
48 - 41.80.164.151 - 122.1363 MB
49 - 203.208.60.45 - 122.1332 MB
50 - 18.162.44.235 - 116.4545 MB
51 - 203.208.60.48 - 115.8460 MB
52 - 218.81.6.178 - 108.4120 MB
53 - 223.89.74.142 - 107.4871 MB
54 - 203.208.60.87 - 107.2963 MB
55 - 66.249.79.141 - 105.2828 MB
56 - 36.227.62.105 - 105.2578 MB
57 - 140.243.21.224 - 105.0754 MB
58 - 69.204.235.16 - 104.9521 MB
59 - 183.195.23.114 - 104.9057 MB
60 - 203.208.60.103 - 103.5033 MB
61 - 52.141.6.156 - 103.0463 MB
62 - 141.8.188.67 - 100.8832 MB
63 - 101.37.202.207 - 100.5265 MB
64 - 60.180.173.201 - 100.4534 MB
65 - 203.208.60.112 - 99.9781 MB
66 - 203.208.60.32 - 99.9714 MB
67 - 203.208.60.31 - 99.9486 MB
68 - 203.208.60.84 - 99.9402 MB
69 - 203.208.60.89 - 99.9323 MB
70 - 203.208.60.4 - 98.4616 MB
71 - 203.208.60.80 - 98.3509 MB
72 - 203.208.60.65 - 98.1963 MB
73 - 35.197.156.40 - 96.9616 MB
74 - 106.81.219.132 - 96.2398 MB
75 - 66.249.79.153 - 95.5487 MB
76 - 66.249.79.142 - 95.4989 MB
77 - 66.249.79.157 - 95.4775 MB
78 - 203.208.60.21 - 91.3382 MB
79 - 203.208.60.93 - 90.2828 MB
80 - 203.208.60.99 - 90.2552 MB
81 - 60.213.27.38 - 89.3729 MB
82 - 203.208.60.34 - 88.8487 MB
83 - 60.213.28.230 - 88.1644 MB
84 - 183.14.132.3 - 87.7291 MB
85 - 223.223.192.20 - 86.0471 MB
86 - 60.248.123.154 - 84.1447 MB
87 - 203.208.60.108 - 83.8690 MB
88 - 203.208.60.77 - 83.8688 MB
89 - 203.208.60.2 - 83.8401 MB
90 - 203.208.60.13 - 83.8179 MB
91 - 203.208.60.46 - 83.7981 MB
92 - 203.208.60.101 - 83.7905 MB
93 - 203.208.60.100 - 83.7834 MB
94 - 203.208.60.73 - 83.7751 MB
95 - 203.208.60.127 - 83.7612 MB
96 - 203.208.60.14 - 83.7583 MB
97 - 59.126.3.232 - 76.2744 MB
98 - 203.208.60.22 - 75.2391 MB
99 - 13.75.42.249 - 75.0657 MB
100 - 203.208.60.3 - 74.1682 MB

[jiandan123]

如果是一个普通用户，会出现在一个 IP 区间中频繁更换 IP 吗？
像这样同时出现一个 IP 区间的几十个 IP，有哪些可能呢？

[phy25]

https://www.ipip.net/ip/203.208.60.43.html
crawl-203-208-60-43.googlebot.com

[Athrob]

查下 IP 是谷歌的, 估计在抓取你的页面.

[eason1874]

测试了下，203.208.60.43 确实是谷歌爬虫，其他的估计也是。

你可以去谷歌站长平台验证网站所有权然后调整抓取速度。

[Kirscheis]

一周才 13G，哪有这么温和的攻击

排查下是不是有什么资源过大了，这种情况很容易随便被访问几次就很多流量

[JasonQs]

（ 13G 似乎连七牛的羊毛都没到

[wwbfred]

老哥你被 google 打了...

[jiandan123]

@Kirscheis 有几十个 mp4 视频文件。如果是谷歌的爬虫，怎样避免它反复观看视频呢？

[jiandan123]

疯了。
排名第一那个 IP 5.45.207.47 是俄罗斯搜索引擎 yandex 的爬虫。
我每个月的流量是不是都被搜索引擎的爬虫消耗了？
我是否应该禁止爬虫访问我的视频呢？

[jiandan123]

我的视频文件是放在另外一个对象存储空间中的，绑定了一个子域名。
如果我想禁止爬虫访问我的视频文件，我是应该在主域名的服务器里调整 robots.txt 还是在子域名的对象存储空间里调整 robots.txt 呢？

[eason1874]

@jiandan123 #9 搜索引擎收录你的视频也带不来什么流量，直接禁止抓取就行了，写一下 robots.txt 禁止。有条件的话把视频 CDN 改成鉴权模式，一个半个小时失效那种，每次用户播放都先请求服务器返回最新鉴权链接。

[eason1874]

视频在哪个域名，就调整哪个域名的 robots.txt

[jiandan123]

@eason1874 非常感谢。
在视频那个对象存储里上传了一个 robots.txt 文件：
User-agent: *
Disallow: /
- - - - - -
我还有一个疑问：
视频虽然存储在子域名的对象存储中，但是在主站中调用了。
如果搜索引擎访问主站，那视频是不是还会播放？那是否还会消耗我大量流量呢？

[eason1874]

@jiandan123 #13 理论上不会播放，实际不知道。你视频 CDN 是用自己的域名吗？如果是自己的域名，也可以专门用一个域名负责这些不给搜索引擎抓取的静态资源，然后在域名解析那边单独给搜索引擎设置一个解析，比如 127.0.0.1，这样搜索引擎想抓也抓不了。不过这种解析大多只支持谷歌、百度、必应，不支持 Yandex 这些。

[jiandan123]

@eason1874 谢谢

[realpg]

按量付费的是给你放 HTML 的 不是给你放资源的……

[jiandan123]

@realpg 你的意思是视频文件要选择按带宽付费？
可是我们网站经常搞社群推广，带宽偶尔也会爆发。

[vtwoextb]

谷歌的爬虫在爬你的页面，无须大惊小怪！

[jiandan123]

@vtwoextb 几十个视频，它爬完了对我也没什么帮助。白白浪费很多流量。

[veike]

老铁，跟你遇到一模一样的情况，你里面有的 IP 我大部分都有。解决了吗？