求问 hadoop 集群搭建的硬件标准配置

2018-05-11 10:37:35 +08:00
 gezizuozuosmile
本人 hadoop 初学者,由于老师想在实验室搭一个简单的 hadoop 集群做研究,让我自己去买设备。想咨询咨询各位大佬😂。具体问题如下:

1.一个最简单但各功能齐全的 hadoop 集群至少需要几台机器?选购时需要考虑哪些因素?
2.想着对性能要求高的节点(如 namenode )用服务器,对性能要求低的节点(如 datanode )买一般的台式机,不知可行否?服务器和台式机的硬件配置各有何要求呢,或者有什么推荐的机型呢?
3.以后可能还要在该集群上搞机器学习,是不是也要考虑什么硬件要求?
4.种种原因,机器无法连接外界互联网,只能集群内构建局域网。该情况下,能否顺利安装 cloudera hadoop ?
5.是否所有机器都需是 linux 系统?

万分感恩!!
3599 次点击
所在节点    Hadoop
12 条回复
minato
2018-05-11 10:55:57 +08:00
可以用虚拟机搞定啊。。
racecoder00
2018-05-11 10:59:30 +08:00
曾经一个破烂笔记本开了 8 个虚拟机模拟环境
defunct9
2018-05-11 11:02:19 +08:00
2 节点 namenode+3 节点 zk+jounal node+3 datanode
最少 8 节点
defunct9
2018-05-11 11:03:44 +08:00
namenode 用最烂的,datanode 用最好的。
gezizuozuosmile
2018-05-11 11:04:03 +08:00
@minato
@racecoder00
唔。现在就是用虚拟机搭的,老师想用物理机搭一个集群,也能对外展示😂
defunct9
2018-05-11 11:04:31 +08:00
都是 linux,买一台 DELL R730 足够了。虚拟出 8 台 linux,cloudera
ai277014717
2018-05-11 11:19:33 +08:00
以前用过 4g 的笔记本,开了三个虚拟机,1 个 master,2 个 node。
cstj0505
2018-05-11 11:46:52 +08:00
只是 ihadoop 的话去网上找个 docker 集群,一键式安装,还要毛的虚拟机
hugedata
2018-05-11 11:52:44 +08:00
64G 内存,10×300G 1W 转的 SAS 16、24、32 核处理器,全部装 Linux。然后虚拟机,Hadoop 选个发行版即可,比如 CDH 之类的。
hellojinjie
2018-05-11 12:24:51 +08:00
不说预算求配置都是耍流氓
sjmcefc2
2018-05-11 12:49:15 +08:00
@defunct9

都是 linux,买一台 DELL R730 足够了。虚拟出 8 台 linux,cloudera
这种速度如何?
defunct9
2018-05-11 13:36:41 +08:00
@sjmcefc2 速度正常,除非是运行 大量的运算任务,才 有反应

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/453988

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX