请问 hadoop 多块磁盘只部署一个 datanode 好还是每块磁盘各部署一个 datanode

[pmispig]

CPU 24 核 256G 内存的机器，有 10 块硬盘.
请问部署方式是选择仅部署一个 datanode ，让这个 datanode 使用 10 块磁盘？
还是部署 10 个 datanode ，每个 node 仅使用一块磁盘？
请问两种姿势各有什么优势和缺点呢？

[israinbow]

10 块硬盘准备如何给一个 DataNode 用? 首先 RAID 0 不推荐给 HDFS 用, RAID 0 会造成磁盘数量 (n) 倍的不可用几率;
而 HDFS 本身就是多个磁盘共用, 并发读写, 在多个磁盘上部署 DataNode 可以满足高可用 (互备) 和高 IO 性能.
详见 https://stackoverflow.com/questions/27988955/why-is-raid-not-recommended-for-hadoop-hdfs-setups

[superchijinpeng]

只部署一个就可以了，我司是每个 DN 22 块盘

[liprais]

配的时候每个磁盘上一个目录就行

[Anybfans]

不知道 lvm 格式行不行，有大佬指导一下吗

[pmispig]

@Anybfans 没必要 lvm,就是要独立驱动器，这样可以充分利用磁盘的性能。做 lvm 还不如做 raid

[Anybfans]

@pmispig #5 😂 目前公司用了 lvm + raid

[pmispig]

@Anybfans 也毛病，lvm 对性能也没啥损失，我以前也是用 raid,现在测试 raid 速度比直通模式速度差了好多