感觉，我可能发现了阿里云的一个秘密

我维护了几十个公立医院的官方网站服务器……

它们都在阿里云

每个网站一个 ECS，每个网站独立账号，医院主体注册方便发票直接开给他们

所有网站附件都在七牛，静态资源都在 cdn 服务器，webserver 只提供动态内容

大部分都是单一 ECS，25Mbps 峰值带宽，按流量计费，预存一点钱，按流量计费，流量都很少，都是纯动态内容少量医院不接受这种预存费之后消费开发票的，采用 5Mbps 带宽方式购买

大部分网站 5000~8000 个新闻动态输出的 HTML 页（超过一万就会删除一部分到归档数据基本维持这个范围）

每个页基本净 HTML 文件大小 15KB-30KB

不知道从哪天起，我这里管理的所有阿里云的按流量计费的医院网站，都开始流量暴涨，以前 10G 流量包一般可用 5 个月，现在可用两天……

经过深入分析日志，所有的按流量计费的 ECS，都有大量的 UA 为 360Spider 的 bot，24 小时疯狂刷全站，每小时都把我的整站几千个新闻刷一遍……

而通过跟 360 搜索提供的资料比对，这些 BOT 的 UA 跟 360 官方 UA 不一致，且 IP 段不在 360 官方公布的爬虫 IP 段范围

它们的 IP 地址： 106.120.161.0/24 111.206.52.0/24 111.206.59.0/24 36.110.211.0/24

而我的这么多同样体量的医院网站里面，所有按带宽计费的都没出现这情况……

所以，我可能得出了一个可怕的结论：

避免被告索赔千万，算了，我啥结论也没得出，大家散了吧

realpg

2018-05-13 10:40:05 +08:00

@badcode #47
爬网站打着搜索引擎的 UA 伪装很正常没必要搭理他内容都是公开的不怕别人爬也需要正常搜索引擎搜索
因为我这不是野鸡医院都是二甲三甲的正规公立都带官网认证事业单位认证的那种搜索引擎基本都带 V 的
一般黑的爬网站内容，也没有每小时高并发爬一次全站的吧……

@lshero #43
别欺负我没干过搜索引擎毕竟在熊厂干过
而且真搜索引擎 spider 我这有独立日志，包括 360 的真 spider，都是新增内容过来爬一下，每个独立搜索引擎一天也就 500-2000 左右的访问，分摊到 24 小时内非常零碎

@sobigfish #50
各种监控的 spider 我都已经分开了各种盾我都没搞过