我们有一个大数据的项目生产环境,用的 raid0 ,大家觉得有毛病吗?

2017-09-20 12:31:06 +08:00
 psirnull

我是觉得很坑。。

3111 次点击
所在节点    问与答
36 条回复
ScotGu
2017-09-20 12:33:35 +08:00
集群整体 RAID0 ? 恭喜!作死成就达成!

RAID10 或者 5 啊。
psirnull
2017-09-20 12:47:00 +08:00
@ScotGu 我也是建议 5 , 但是项目不是我负责 , 很无奈。。。
mooncakejs
2017-09-20 12:52:02 +08:00
先计算下,项目能撑几个月,如果时间不长,随他吧。
psirnull
2017-09-20 12:53:48 +08:00
@mooncakejs 我们公司基本上是要和甲方单位长期合作的。
tinybaby365
2017-09-20 12:54:17 +08:00
Hadoop 节点? raid0 解决同一节点 disk 间的数据倾斜?
Aliencn
2017-09-20 12:54:42 +08:00
要看具体业务场景,不一定用 raid0 的都是坑
Luckyray
2017-09-20 12:55:40 +08:00
然后备份了好几个?
psirnull
2017-09-20 12:57:13 +08:00
@tinybaby365 还作的是虚拟资源池。。。。
psirnull
2017-09-20 12:57:34 +08:00
@Luckyray 木有备份资源
psirnull
2017-09-20 12:58:29 +08:00
@Aliencn 项目经理说现在的硬盘质量好,没问题。。。。。。。。。。
gamexg
2017-09-20 13:15:50 +08:00
如果只是代码,不涉及用户数据并且是多机均衡负载就没大问题。
如果涉及到了用户数据,那么等着硬盘挂了做开盘数据恢复吧......
asdf123101
2017-09-20 13:18:29 +08:00
没有备份,我觉得就是在做死😂
ryd994
2017-09-20 13:36:16 +08:00
@psirnull 让老板看看 BackBlaze 的硬盘统计: https://www.backblaze.com/blog/hard-drive-failure-rates-q1-2017/
BackBlaze 是一家用家用级硬盘组 RAID 提供廉价储存的公司,不妨做个参考

其实重点是你们用户协议里有没有保护数据的条款,如果本来就不保数据的话,那确实没什么关系。大数据平台一般主要用算力,在平台上一般也就需要留个 checkpoint。数据人家自己都有。出事了最多补偿一下数据传输费用和重新计算的费用。未必需要安全性。

如果你是负责人的话,最好留下文字留档,免得出事背锅
aheadlead
2017-09-20 13:40:39 +08:00
@psirnull 别上 RAID 5,都是泪
…除非你都是百把 G 的小硬盘
psirnull
2017-09-20 13:49:53 +08:00
@aheadlead 请指教下,RAID5 会有什么问题,性能吗?
AntiGameZ
2017-09-20 13:53:39 +08:00
@psirnull RAID 5 写入要做 XOR 校验,所以写入速度很多时候还不如单盘。
psirnull
2017-09-20 13:58:41 +08:00
@ryd994 感谢啊!~
RubyJack
2017-09-20 14:12:20 +08:00
hdfs 本身就有冗余啊,我觉得 RAID 都不需要
ryd994
2017-09-20 14:13:43 +08:00
@psirnull RAID5 要性能的话最好上硬件卡
以及注意能否在线重建和重建时再挂一块的可能性
如果同批次硬盘坏了一个,其他的估计也快了,重建又是压力很大的操作,一不小心挂两块就都没了
psirnull
2017-09-20 14:15:04 +08:00
@RubyJack 基础架构是用的虚拟资源池。。。。 等于 RAID0 上跑的是虚拟机。。。。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/392217

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX