私有云存储开发

[jeffreyji666]

部门要整私有云存储,要支持 EB 级别数据量, 请教下技术选型.

目前了解到的开源方案主要是 Ceph, 但 ceph 坑也多, 求有经验的大佬指点

[fredcc]

@swulling 算成 1pb 了。不过 1eb 全是热数据不用冷存储么？

[swulling]

@fredcc 不好说，毕竟 lz 没说背景。用最便宜的归档存储可以便宜一个数量级，最便宜的归档存储用的磁带机，可麻烦了

[swulling]

另外 ceph 单集群 EB 八成没戏，规模太大了。要么就拆集群，要么做二次开发。

[realpg]

避免嘴炮嫌疑 图纸都可以发





然后是后端设施

我们这个最终是输出服务不是输出硬件，我个人有权利选型设备，用的都不是比较新代数的服务器，实际存储设计我们这是非常精简成本的，多层多性能都才用了不同方案，大量定制旧代数服务器、主板，甚至在市场上回收大量二手服务器，这个 2000 柜的机房首期建成，IPSAN 公共存储部分都在 2 楼，2 楼所有机房都是，一楼的中心 VIP 区都是计算用外挂二楼的 IPSAN

就这样，综合所有服务器的成本是 3.6 亿

主体网络设施包含各种级别的交换机，光模块，室内光缆，尾纤，我们的采购渠道特殊走运营商 ICT 极便宜的情况下，花了不到 1000 万，如果是社会其他公司来干没有这个网络设备采购渠道要更贵

[realpg]

PS 别以为这是个复杂的事 只要有钱 有高级规划人员

这么大个项目，其实我公司扣掉财务和文员，才二十来个人，其中一多半是机房土木电力空调建设人才，剩下才是真正搞 IT 技术的

当然，项目完全投产以后要上一堆现场维护人员，那都是跟着项目走的，单独的运维公司，输出标准，干活的人员

其他全套建设，全部是固定长期合作方来做，出设计

[realpg]

@swulling #23
一定要拆集群，因为网络交换能力都不行 但是可以在 200Gbps 的层面上做统一 iSCSI 网关 对外可以提供统一服务

实际架构是多级集群

实际生产环境我们最大搞了个 2EB 的，没啥毛病

养了 40 个换硬盘工……

各种来路不明清零盘，垃圾 SSD，反正看着监控换硬盘就行，成本低廉，可靠性好

[swulling]

@realpg 抛去 ceph 不说，单集群 2w~3w 服务器是可行的

最大的东西向流量是副本复制的流量，其实还好。南北向看层层收敛比。一般这个规模的集群提供 400Gbps 的南北向流量问题不大。

硬盘还是买好的，要不然太累了…

[realpg]

@swulling #27
实际上 固态好的坏的更换都累
机械盘清零盘的故障率其实都挺低的……

主要是这边的存储网络为了节约成本（￥ 20 的华为万兆光模块满地跑），采用的 2*10GbpE 存储网络，固态节点采用 4*10GbE，没有采用接入层 25GbE 和 2*25GbE，lacp 的负载分担还是利用率有错峰问题，基本上都是手动规划不同的区域不同用途，然后在 2*100GbE 的聚合层面做多个统一网关

ceph 只要你不去动他，不会有故障

我们 ceph 节点的本地系统引导是另外一套可靠性高的用盗版 VSAN 搞的 IPSAN，全固态 5 副本。目前多个项目，就没有 ceph 节点自身系统故障的，ceph 的常用操作封装成 web 界面了，运维都是傻瓜级的，看图点按钮换硬盘而已，实在遇到问题就整节点关机，等大工程师两周巡视一次机房处理

[salmon5]

老板投入多少，2 个人，几万块钱

[uleh]

加个微信详细聊下
base64 eWV1bGVo

[Septembers]

@realpg
想问下设计 SLA 是几个 9 ？
甲方要求 SLA 是几个 9 ？
目前 SLA 能达到几个 9 ？

[fredcc]

@swulling 用 S3 Glacier Deep Archive 的话还能便宜 2/3，磁带机维护成本不便宜啊

[aheadlead]

@realpg 很多次看你在存储的话题下留言，学到不少。你是真大佬啊。

[secondwtq]

1EB ... Backblaze 现在也才 750PB

[reus]

@realpg 盗版 vsan 不怕被告啊？在公开场合说出来，不怕坑了公司？

[reus]

主流几家公有云都支持私有部署，别折腾了

[realpg]

@Septembers
算几个九我不知道 反正都是手册文档瞎吹的
反正到现在没降级没中断服务过

[realpg]

@reus 欢迎前来取证
一个纯内网的服务 反正 vmware 连进机房的安全级别都没有

[reus]

@realpg 你的发帖就是证据啊

[zsj950618]

难道除了 ceph 你还有其他选择（ x