V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
psirnull
V2EX  ›  问与答

我们有一个大数据的项目生产环境,用的 raid0 ,大家觉得有毛病吗?

  •  
  •   psirnull · 2017-09-20 12:31:06 +08:00 · 3097 次点击
    这是一个创建于 2382 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我是觉得很坑。。

    36 条回复    2017-09-24 18:10:05 +08:00
    ScotGu
        1
    ScotGu  
       2017-09-20 12:33:35 +08:00
    集群整体 RAID0 ? 恭喜!作死成就达成!

    RAID10 或者 5 啊。
    psirnull
        2
    psirnull  
    OP
       2017-09-20 12:47:00 +08:00
    @ScotGu 我也是建议 5 , 但是项目不是我负责 , 很无奈。。。
    mooncakejs
        3
    mooncakejs  
       2017-09-20 12:52:02 +08:00
    先计算下,项目能撑几个月,如果时间不长,随他吧。
    psirnull
        4
    psirnull  
    OP
       2017-09-20 12:53:48 +08:00
    @mooncakejs 我们公司基本上是要和甲方单位长期合作的。
    tinybaby365
        5
    tinybaby365  
       2017-09-20 12:54:17 +08:00 via iPhone
    Hadoop 节点? raid0 解决同一节点 disk 间的数据倾斜?
    Aliencn
        6
    Aliencn  
       2017-09-20 12:54:42 +08:00
    要看具体业务场景,不一定用 raid0 的都是坑
    Luckyray
        7
    Luckyray  
       2017-09-20 12:55:40 +08:00
    然后备份了好几个?
    psirnull
        8
    psirnull  
    OP
       2017-09-20 12:57:13 +08:00
    @tinybaby365 还作的是虚拟资源池。。。。
    psirnull
        9
    psirnull  
    OP
       2017-09-20 12:57:34 +08:00
    @Luckyray 木有备份资源
    psirnull
        10
    psirnull  
    OP
       2017-09-20 12:58:29 +08:00
    @Aliencn 项目经理说现在的硬盘质量好,没问题。。。。。。。。。。
    gamexg
        11
    gamexg  
       2017-09-20 13:15:50 +08:00
    如果只是代码,不涉及用户数据并且是多机均衡负载就没大问题。
    如果涉及到了用户数据,那么等着硬盘挂了做开盘数据恢复吧......
    asdf123101
        12
    asdf123101  
       2017-09-20 13:18:29 +08:00 via Android
    没有备份,我觉得就是在做死😂
    ryd994
        13
    ryd994  
       2017-09-20 13:36:16 +08:00
    @psirnull 让老板看看 BackBlaze 的硬盘统计: https://www.backblaze.com/blog/hard-drive-failure-rates-q1-2017/
    BackBlaze 是一家用家用级硬盘组 RAID 提供廉价储存的公司,不妨做个参考

    其实重点是你们用户协议里有没有保护数据的条款,如果本来就不保数据的话,那确实没什么关系。大数据平台一般主要用算力,在平台上一般也就需要留个 checkpoint。数据人家自己都有。出事了最多补偿一下数据传输费用和重新计算的费用。未必需要安全性。

    如果你是负责人的话,最好留下文字留档,免得出事背锅
    aheadlead
        14
    aheadlead  
       2017-09-20 13:40:39 +08:00
    @psirnull 别上 RAID 5,都是泪
    …除非你都是百把 G 的小硬盘
    psirnull
        15
    psirnull  
    OP
       2017-09-20 13:49:53 +08:00
    @aheadlead 请指教下,RAID5 会有什么问题,性能吗?
    AntiGameZ
        16
    AntiGameZ  
       2017-09-20 13:53:39 +08:00
    @psirnull RAID 5 写入要做 XOR 校验,所以写入速度很多时候还不如单盘。
    psirnull
        17
    psirnull  
    OP
       2017-09-20 13:58:41 +08:00
    @ryd994 感谢啊!~
    RubyJack
        18
    RubyJack  
       2017-09-20 14:12:20 +08:00
    hdfs 本身就有冗余啊,我觉得 RAID 都不需要
    ryd994
        19
    ryd994  
       2017-09-20 14:13:43 +08:00   ❤️ 1
    @psirnull RAID5 要性能的话最好上硬件卡
    以及注意能否在线重建和重建时再挂一块的可能性
    如果同批次硬盘坏了一个,其他的估计也快了,重建又是压力很大的操作,一不小心挂两块就都没了
    psirnull
        20
    psirnull  
    OP
       2017-09-20 14:15:04 +08:00
    @RubyJack 基础架构是用的虚拟资源池。。。。 等于 RAID0 上跑的是虚拟机。。。。
    Morriaty
        21
    Morriaty  
       2017-09-20 14:21:01 +08:00
    如果是 hdfs,不需要 raid
    aheadlead
        22
    aheadlead  
       2017-09-20 14:22:32 +08:00
    @psirnull 在重建的时候 很容易接二连三的挂盘

    楼下接着补充 我不是存储专家 不敢多说
    mhycy
        23
    mhycy  
       2017-09-20 14:23:01 +08:00
    @AntiGameZ
    @psirnull

    RAID5 上硬卡不会有写入性能问题
    问题在于 RAID5 有可能无法完整恢复数据(如果另一个盘有坏道的话)

    所以建议上 RAID6,至少存在交叉比对的可能
    (现在硬卡 RAID6 其实性能很不错的, H730P 能做到持续读写 1GB/s+)

    至于虚拟机跑在 RAID0....等着完蛋好了
    natforum
        24
    natforum  
       2017-09-20 14:28:13 +08:00
    用 5 或者 7 吧,0 太古老了
    psirnull
        25
    psirnull  
    OP
       2017-09-20 14:59:59 +08:00
    所以说是坑很大嘛
    tianwm
        26
    tianwm  
       2017-09-20 16:44:08 +08:00
    至少 RAID 5 吧....再加时时备份..
    wekw
        27
    wekw  
       2017-09-20 17:37:45 +08:00
    这显然是作大死行为,经理可能想坑死公司。


    更不推荐 RAID5,谁用谁知道,坑死人没商量。


    老老实实 RAID 1 或者 RAID 10,看钱多钱少喽。
    lydasia
        28
    lydasia  
       2017-09-20 18:46:21 +08:00 via iPhone
    5 重建的时候有大概率 gg
    7654
        29
    7654  
       2017-09-20 18:56:33 +08:00
    我们还有个庞大的磁带库呢
    oaix
        30
    oaix  
       2017-09-20 20:48:57 +08:00
    如果你的 hdfs 设置了多个副本,用 raid0 也没什么问题。
    如果有钱可以用 raid10,不要用 raid5。
    ryd994
        31
    ryd994  
       2017-09-20 21:06:41 +08:00
    @natforum 哦,那 RAID10 一定很新咯?
    msg7086
        32
    msg7086  
       2017-09-21 01:06:01 +08:00
    @psirnull RAID 5 比 RAID 0 安全一些,但是由于 URE 的固定概率,数据损坏率依然极高。

    URE 是每多少读取中有多少数据损坏的比率。这个比率基本是固定的,所以硬盘越大,在读完硬盘之前遇到数据损坏的概率越高。单盘 2TB 应该就是 RAID 5 的极限了,一般而言 TB 级硬盘都应该上至少 RAID 6,保证一块硬盘挂掉,一块硬盘读取错误的情况下,还有第三份数据做后备。

    我们 12 盘 4TB 直接上了 RAID Z3 阵列,可以保证两块硬盘同时挂掉,第三块盘读取错误的情况下,有第四份数据的后备。
    psirnull
        33
    psirnull  
    OP
       2017-09-21 11:02:27 +08:00
    @msg7086 学习了。 了解了下, 主流用 10 的还是挺多的。
    lianxiaoyi
        34
    lianxiaoyi  
       2017-09-21 11:13:13 +08:00
    我就是 raid 0 啊 。跑的挺爽的。。。。。。
    ryd994
        35
    ryd994  
       2017-09-21 11:54:20 +08:00
    @psirnull RAID10 其实有个坑就是,如果很不巧的挂的是同一侧的两块的话就 GG 了
    psirnull
        36
    psirnull  
    OP
       2017-09-24 18:10:05 +08:00
    @ryd994 那都没得用了。。。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5418 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 09:00 · PVG 17:00 · LAX 02:00 · JFK 05:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.