美团云你变了,准备在美团云放爬虫的注意有个大深坑.

2016-05-28 09:59:12 +08:00
 xiaocsl
前几天美团云有活动,买了台服务器,5Mbps 的带宽.跑爬虫服务器下行死活卡在 10Mbps,而上行才用了 3Mbps 出头.
下行被限制的就 10Mbps,一旦跑着爬虫 xshell 都变成卡死状态.

去年的时候用过一个月的美团云,记得那时候下行都是 20Mbps+的口.

在阿里云买的 4Mbps 的带宽,实际上跑爬虫 下行 15Mbps 左右上行 4.5Mbps,效率是被行卡住的.
腾讯云同阿里云爬虫效率的瓶颈都是上行.在美团云这被下行卡住真是心塞.

发工单问了,结论就是:"接收速率我们限制的是 10M"

所以如果要准备在美团云放爬虫或者其他比较吃下行的程序时要特别注意了..
7274 次点击
所在节点    云计算
14 条回复
xiaoz
2016-05-28 10:07:37 +08:00
估计爬虫这东西要多台服务器才行
Marfal
2016-05-28 10:15:44 +08:00
美团云本来下行就低
feiyunfirst
2016-05-28 10:46:22 +08:00
垃圾的很 美团云!我用了他们一年多,突然有一天把 80 端口给封了说网站没备案,还晚上封的,根本联系不到人解封,可我的网站明明备案是好的。垃圾垃圾
evanvane
2016-05-28 10:49:20 +08:00
这些国内的云带宽都是独享的吗?可以一直跑满?
greatghoul
2016-05-28 10:52:07 +08:00
什么时候出赶集云,饿了云, yy 云什么的,觉得可以尝试用一下。
nlzy
2016-05-28 11:04:06 +08:00
以前更惨, 1M 的带宽只有 1M 下行 😂
Patrick95
2016-05-28 11:07:38 +08:00
@feiyunfirst 是在美团云备的吗,估计接入商变了要重新备。
mimzy
2016-05-28 11:13:58 +08:00
firefox12
2016-05-28 11:14:16 +08:00
我觉得没什么 买带宽 5M 然后给你 10M 下行 你还想怎么的?
lslqtz
2016-05-28 11:47:11 +08:00
@firefox12  但是 同比其他的云,我有什么理由不用更高带宽的其他云用美团云?就是这样。
fcicq
2016-05-28 11:58:30 +08:00
知道了. 不过卡死是因为楼主没做 QoS. 爬虫的推荐做法是抓取开最便宜的 instance 然后借用内网云存储中转. 再用大实例去跑索引.
blackboom
2016-05-28 14:09:57 +08:00
腾讯云怎么样?都是好贵啊,跑一个小站流量不大
MOS
2016-05-30 10:50:41 +08:00
@xiaocsl 您好,浮动 IP 带宽配置为 1 到 10Mbps 时,入向带宽为 10Mbps ;配置大于 10Mbps 时,入向带宽与配置一致。出向带宽始终与配置一致。 也就是说,带宽选择 1Mbps ,入向带宽也会赠送至 10Mbps 。如果有其他问题请随时与我们客服沟通,谢谢。
guozixi
2016-08-03 21:14:25 +08:00
需要大带宽就改成按流量计费

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/281829

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX