学 hadoop 需要什么基础

[shuyun008]

学 hadoop 需要什么基础 最近一段时间一直在接触关于 hadoop 方面的内容，从刚接触时的一片空白，到现在也能够说清楚一些问题。这中间到底经历过什么只怕也就是只有经过的人才会体会到吧。前几天看到有个人问“学 hadoop 需要什么基础”，这个问题好像至今还没好好细想过，可能是因为身边有大神在带着我学习 hadoop 的缘故，也就没想过这样的一个简单的问题。 我们目前在用的 hadoop 版本并不是原生态的版本，我们在用的是国内的一款商业发行版，叫 DKhadoop。大快搜索推出的一款原生态开发的 Hadoop 集成生态环境。从使用的效果上看 DKhadoop 与开源环境是可以做到完全兼容的。准备过段时间抽个空，试着写一下以 DKhadoop 为切入点关于学习 hadoop 需要掌握什么基础。 [ DKhadoop 基础技术架构图] 关于学 hadoop 需要什么基础这样的问题，看到一篇关于介绍学习原生 hadoop 的分享，个人觉得还是很不错的一篇文章。这里也分享给大家，供参考之用。 关于学习 hadoop 需要具备什么基础知识，首先应该从整体了解 hadoop，包括 hadoop 是什么，能够帮助我们解决什么问题，以及 hadoop 的使用场景等。在有了整体上的了解后，就可以开始系统的学习 hadoop。当然，若是能够结合一些实践性的东西学习会更有助于理解 hadoop。 学习 hadoop 需要什么基础： Linux： ①　需要能够熟练操作 linux 常用命令以及网络配置； ②　熟悉用户以及权限管理操作； ③　需要熟悉软件包以及系统命令管理； ④　还需要学习一下 shell 编程。 Java： ⑤　需要具备一定的 javase 基础知识； ⑥　如果懂 java web 及各种框架知识那就更好了。 虚拟机： ⑦　需要掌握虚拟机； ⑧　需要安装 linux 操作系统 ⑨　需要配置虚拟机网络 除了上述这几个方面，我们还需要了解 hadoop 的单机模式、伪分布模式和分布式模式的搭建方式。了解 MapReduce 分布式计算框架、Yarn 集群资源管理和调度平台、hdfs 分布式文件系统、hive 数据仓库、HBase 实时分布式数据库、Flume 日志收集工具、sqoop 数据库 ETL 工具、zookeeper 分布式协作服务、Mahout 数据挖掘库等。