Cloudera下实现Hadoop方案规划

本节向大家介绍一下利用Cloudera 实现Hadoop 的方法，这里主要介绍一下Hadoop的概念和利用Cloudera 实现 Hadoop 的规划，希望通过本节的介绍大家对利用Cloudera 实现Hadoop 有一定的认识。

在永顺等地区，都构建了全面的区域性战略布局，加强发展的系统性、市场前瞻性、产品创新能力，以专注、极致的服务理念，为客户提供成都做网站、成都网站设计 网站设计制作按需开发网站,公司网站建设,企业网站建设,品牌网站建设,全网整合营销推广,成都外贸网站制作,永顺网站建设费用合理。

利用 Cloudera 实现Hadoop

前言

Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架。MapReduce的概念来源于Google实验室，它是一个简化并行计算的编程模型，适用于大规模集群上的海量数据处理，目前最成功的应用是分布式搜索引擎。随着2007年底该模式Java开源实现项目Apache Hadoop的出现，使得程序员可以轻松地编写分布式并行程序，并将其运行于计算机集群上，完成海量数据的计算。近两年尤其是今年国内外采用 MapReduce模型的应用也逐渐丰富起来，如像NTT KDDI和中国移动这类的电信公司采用该模型分析用户信息，优化网络配置；美国供电局采用该模型来分析电网现状；包括VISA和JP摩根在内的金融公司采用该模型来分析股票数据；包括Amazon和ebay在内的零售商和电子商务公司也开始采用该模型；甚至部分生物公司也采用该模型来进行DNA测序和分析。然而Hadoop安装、部署、管理的难度非常大，这使用很多用户对Hadoop望而却步，好在这种情况不久就得到了改善，Cloudera提供了非常简单的Hadoop的发布版本，能够十分方便地对Hadoop进行安装、部署和管理，这导致目前大约有75％的Hadoop新用户使用Cloudera。下面是利用Cloudera 实现Hadoop 的具体规划。

规划

运行模式

Hadoop有三种运行模式：单机（非分布）运行模式、伪分布运行模式和分布式运行模式。其中前两种运行模式体现不了 Hadoop 分布式计算的优势，并没有什么实际意义（当然它们对程序的测试及调试还是很有帮助的），因此在这里还是采用实际环境中使用的分布式运行模式来部署。

主机规划

在这里拟采用三台主机搭建Hadoop环境，由于后期还需要测试增删主机及跨网段主机对Hadoop环境的影响，特将Hadoop主机规划如下：Hadoop-01 10.137.253.201Hadoop-02 10.137.253.202Hadoop-03 10.137.253.203 准备后期加入的测试主机Hadoop-04 10.137.253.204Firehare-303 10.10.3.30  准备后期加入的跨网段测试主机

Hadoop环境规划

对于Hadoop来说，最主要的是两个内容，一是分布式文件系统HDFS，一是MapReduce计算模型。在分布式文件系统HDFS看来，节点分为NameNode 和DataNode，其中NameNode只有一个，DataNode可以是很多；在MapReduce计算模型看来，节点又可分为JobTracker 和 TaskTracker，其中JobTracker只有一个，TaskTracker可以是很多。因此在实际的Hadoop环境中通常有两台主节点,一台作为NameNode（I/O节点？？）,一台作为JobTracker（管理节点？？）,剩下的都是从节点，同时当做DataNode和 TaskTracker使用。当然也可以将NameNode和JobTracker安装在一台主节点上。由于测试机数量有限，所以在这里是让 Hadoop-01做为Namenode和Jobtracker，其它主机则作为DataNode和TaskTracker（如果Hadoop环境中主机数量很多的话，还是建议将Namenode和JobTracker部署到不同的主机，以提高计算的性能）。本节关于利用Cloudera 实现Hadoop 的规划介绍完毕，请关注下节Hadoop安装。
 

【编辑推荐】

1. Windows下轻松实现Hadoop开发环境安全配置
2. 轻松实现Hadoop Hdfs配置
3. 专家讲解 Hadoop:HBASE松散数据存储设计
4. 两种模式运行Hadoop分布式并行程序
5. Hadoop应用之Hadoop安装篇

新闻标题：Cloudera下实现Hadoop方案规划
浏览路径：http://www.shufengxianlan.com/qtweb/news26/278976.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联