pmispig
V2EX  ›  Hadoop

请问 hadoop 多块磁盘只部署一个 datanode 好还是每块磁盘各部署一个 datanode

  •  
  •   pmispig · Jul 27, 2022 · 2874 views
    This topic created in 1575 days ago, the information mentioned may be changed or developed.

    CPU 24 核 256G 内存的机器,有 10 块硬盘.
    请问部署方式是选择仅部署一个 datanode ,让这个 datanode 使用 10 块磁盘?
    还是部署 10 个 datanode ,每个 node 仅使用一块磁盘?
    请问两种姿势各有什么优势和缺点呢?

    7 replies  •  2022-07-29 20:42:57 +08:00
    israinbow
    israinbow
    Jul 27, 2022
    1
    10 块硬盘准备如何给一个 DataNode 用? 首先 RAID 0 不推荐给 HDFS 用, RAID 0 会造成磁盘数量 (n) 倍的不可用几率;
    而 HDFS 本身就是多个磁盘共用, 并发读写, 在多个磁盘上部署 DataNode 可以满足高可用 (互备) 和高 IO 性能.
    详见 https://stackoverflow.com/questions/27988955/why-is-raid-not-recommended-for-hadoop-hdfs-setups
    cutiechi
    cutiechi
    Jul 27, 2022
    2
    只部署一个就可以了,我司是每个 DN 22 块盘
    F281M6Dh8DXpD1g2
    F281M6Dh8DXpD1g2
    Jul 27, 2022
    3
    配的时候每个磁盘上一个目录就行
    CodeDrift
    CodeDrift
    Jul 27, 2022
    4
    不知道 lvm 格式行不行,有大佬指导一下吗
    pmispig
    pmispig
    OP
    Jul 27, 2022
    5
    @Anybfans 没必要 lvm,就是要独立驱动器,这样可以充分利用磁盘的性能。做 lvm 还不如做 raid
    CodeDrift
    CodeDrift
    Jul 28, 2022
    6
    @pmispig #5 😂 目前公司用了 lvm + raid
    pmispig
    pmispig
    OP
    Jul 29, 2022
    7
    @Anybfans 也毛病,lvm 对性能也没啥损失,我以前也是用 raid,现在测试 raid 速度比直通模式速度差了好多
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2485 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 10:49 · PVG 18:49 · LAX 02:49 · JFK 05:49
    ♥ Do have faith in what you're doing.