V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
annoy1309
V2EX  ›  问与答

求一个多硬盘(> 40 块)的本地解决方案

  •  
  •   annoy1309 · Dec 1, 2018 · 3730 views
    This topic created in 2707 days ago, the information mentioned may be changed or developed.

    工作需要,有大于 100T 级别的数据需要低实时处理(要求时延 1 分钟内),处理其实不是 CPU 密集( i3 都跑不满),也不算 IO 密集,但是不可预测到底在哪个盘里
    就是需要保持这些盘处于可用状态
    目前已有:3T 盘 X20+,4T 盘 X10+,各种其他容量的硬盘( 1t,2t,5t)小于 10 块
    商业级别的阵列柜太贵了,支持 30+盘的价格都是 5w 起步,sata 扩展卡也考虑过,看了下 tb,最多支持 4 口的扩展,有点少
    想的是挖矿有那种 16+pcie 口的主板
    有没有原生支持 50+SATA 接口的家用主板或者台式?或者说有没有什么解决方案可以帮助?

    21 replies    2018-12-02 19:03:30 +08:00
    dream7758522
        1
    dream7758522  
       Dec 1, 2018 via Android
    廉价 pc 搭建局域网?同样局域网访问硬盘?
    dream7758522
        2
    dream7758522  
       Dec 1, 2018 via Android
    通过局域网访问硬盘
    C2G
        3
    C2G  
       Dec 1, 2018 via Android
    12sata 口的 j1900 集成主板多来几块,然后网络访问( smb/其他)。这主板不知道还能不能再加扩展卡
    feverzsj
        4
    feverzsj  
       Dec 1, 2018
    jd 上硬盘盒 40 元一个,在买几个 usb hub,linux 下可以用 lvm 把所有硬盘合并成一个分区,2000 以内可以搞定,不过任何一个硬盘的损坏或丢失,都可能导致大量文件的失效
    C2G
        5
    C2G  
       Dec 1, 2018 via Android
    @C2G 单主板的话不太实际。除了上面的方案我能想到的就是 pci 再拓展了。pci 拓展还可以再一拖四,但是只有 sata2 还是 sata1 的速度。也可以看看能不能把 pciex16 分成 16 个 pcie 插扩展卡(一下子多了 64 个 sata 口)
    7654
        6
    7654  
       Dec 1, 2018
    msi 有一款挖矿主板,拥有 1 个 pci x16、12 个 pci x1 插槽
    H310-F Pro
    zander
        7
    zander  
       Dec 1, 2018
    SE326M1,25 盘位,2000 内可以搞定。
    swulling
        8
    swulling  
       Dec 1, 2018 via iPhone
    奥睿科的八盘位的外置 USB 3.0 的硬盘盒大概 1900,四十个盘买五个就够了
    alvin666
        9
    alvin666  
       Dec 1, 2018 via Android
    @7654 阵列卡好像 x1 塞不进去(?)


    如果是 sas,阵列卡一个能带很多,但是 sata 就比较麻烦了,我觉得多个小千兆主板做存储集群可行。
    7654
        10
    7654  
       Dec 1, 2018
    @alvin666 #9 延长线
    矿卡都是这样延伸出来的
    gefranks
        11
    gefranks  
       Dec 1, 2018   ❤️ 1
    配这个之前首先是你盘上数据的重要性, 是不是要上 raid, 上 raid 几, 读写速度上有没有要求.
    要是数据又重要, 写又多, 速度还有要求, 那就没便宜的方案了.

    1. 看看国鑫 24 盘位带 SAS expander 的机箱, 搭几个存储服务器.
    如果你不组任何阵列的话那应该这些盘就设成 RAID0 来访问.
    2. 要挂在一个机器上的话看看淘宝上还有没有 rackable 16 盘位的机柜了, 配外置 SAS 卡,可以几个柜子连起来.
    3. 超微有个板子 16 个 SATA 口, 但挺贵的.
    4. 奥睿科的东西不推荐, 容易坏盘. 以前用个 orico 的东西上面带了个自动休眠功能.搞坏 2 块盘,软损坏, 数据全灭, 虽然能恢复吧.但是烦.

    我用过的 SATA 盘基本上都能接 SAS 卡上, 有 1 SAS 转 4 STAT 的线.
    如果不上 RAID 都是单盘的话, 那还要看 raid/hba 卡是不是支持单盘 RAID0. 我以前用过一些 LSI 的是支持的. 当时专门弄了一个 raid0 的盘位,插了个盘用来传递数据.

    以上皆为个人见解, 不喜勿喷.
    daocheng
        12
    daocheng  
       Dec 1, 2018
    分布式文件系统? HDFS
    mhycy
        13
    mhycy  
       Dec 1, 2018
    二手服务器方案的阵列卡是个好东西(虽说以下推荐的柜子是全新的)

    便宜货柜子做 expander+阵列卡
    例如这个
    https://item.taobao.com/item.htm?id=14763379379

    阵列卡用 LSI 9286CV-8eCC / DELL H730P
    再买个便宜货服务器做主机,上架....
    稳定靠谱美滋滋..
    Wenpo
        14
    Wenpo  
       Dec 1, 2018 via Android
    某宝关键词 IPFS 主板
    mhycy
        15
    mhycy  
       Dec 1, 2018
    flynaj
        16
    flynaj  
       Dec 1, 2018
    多口无盘服务器。三台左右就可以了。
    ryd994
        17
    ryd994  
       Dec 2, 2018 via Android   ❤️ 2
    @alvin666 你需要的是 sas hba+expander
    hba 有半高的。而且你看到只有 4 口,那是不对的。一般 sas hba 是 2-4 个 minisas,每个 minisas 是 4 个 sas port。但是,你这个需求哪怕一个 sas port 都足够。因为可以接 expander。每个 sas port 可以接 256 个设备。只不过他们贡献带宽,所以一般还是多配几张 expander

    expander 虽然是全高,但其实不需要 pcie,只需要供电。可以买供电转接板。
    snnn
        18
    snnn  
       Dec 2, 2018
    要我肯定选 HDFS。多主机。
    annoy1309
        20
    annoy1309  
    OP
       Dec 2, 2018
    @7654 我要的是 SATA 不是 pcie
    @zander 好的我去 tb 看看
    @gefranks 对速度几乎无要求,30MB/s 这种数量级就没问题了。
    @swulling 奥睿科的东西质量太不行了,不靠谱
    @ryd994 感谢,我去了解一下相关
    msg7086
        21
    msg7086  
       Dec 2, 2018
    首先,如果是工作需要的话,有条件的话还是不要买这种小容量硬盘了。8T 和 10T 价格已经很合理了,组起阵列来会帮你剩下很多管理和接口平台的开销,即使单位价格稍微贵一点,整体的 TCO 并不会上升。

    然后你的需求,100T 容量如果插 10T 盘,少则一个 12 盘位机架式解决,多的话来个 24 盘位的也就解决了。要成本低可以找二手蓝猫的箱子,自带 SAS Expander 的,只要配一块或者两块 50 刀左右的 HBA (或者 RAID 卡回来自己刷 ROM )就能撑下来。

    这点小容量还犯不上搞分布式存储吧……
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   811 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 73ms · UTC 21:46 · PVG 05:46 · LAX 14:46 · JFK 17:46
    ♥ Do have faith in what you're doing.