Cloudera实现Hadoop过程中Hadoop设置揭秘

本节接着上节介绍Cloudera 实现Hadoop 的方法，本节主要介绍一下对Hadoop的相关设置，相信通过本节的介绍大家对Cloudera 实现Hadoop 方法有一定的了解。

成都创新互联公司网站建设提供从项目策划、软件开发，软件安全维护、网站优化(SEO)、网站分析、效果评估等整套的建站服务，主营业务为成都做网站、网站制作，成都App制作以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。成都创新互联公司深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！

设置主节点的Hadoop

设置JAVA_HOME

Hadoop的JAVA_HOME是在文件/etc/conf/hadoop-env.sh中设置，具体设置如下：
sudo vi /etc/conf/hadoop-env.shexport JAVA_HOME="/usr/lib/jvm/java-6-sun"

Hadoop的核心配置

Hadoop的核心配置文件是/etc/hadoop/conf/core-site.xml，具体配置如下：
fs.default.namehdfs://hadoop-01:8020hadoop.tmp.dir/var/lib/hadoop-0.20/cache/${user.name}

设置Hadoop的分布式存储环境

Cloudera 实现Hadoop 过程中Hadoop的分布式环境设置主要是通过文件/etc/hadoop/conf/hdfs-site.xml来实现的，具体配置如下：
dfs.replication3dfs.permissionsfalsedfs.name.dir/var/lib/hadoop-0.20/cache/hadoop/dfs/name

设置Hapoop的分布式计算环境

Cloudera 实现Hadoop 过程中Hadoop的分布式计算是采用了Map/Reduce算法，该算法环境的设置主要是通过文件/etc/hadoop/conf/mapred-site.xml来实现的，具体配置如下：
mapred.job.trackerhadoop-01:8021

设置Hadoop的主从节点

首先设置主节点，编辑/etc/hadoop/conf/masters文件，如下所示：
hadoop-01然后是设置从节点，编辑/etc/hadoop/conf/slaves文件，如下所示：
hadoop-02hadoop-03hadoop-04firehare-303

设置从节点上的Hadoop

从节点上的Hadoop设置很简单，只需要将主节点上的Hadoop设置，复制一份到从节点上即可。
scp -r /etc/hadoop/conf hadoop-02:/etc/hadoopscp -r /etc/hadoop/conf hadoop-03:/etc/hadoopscp -r /etc/hadoop/conf hadoop-04:/etc/hadoopscp -r /etc/hadoop/conf firehare-303:/etc/hadoop。Cloudera 实现Hadoop过程中对Hadoop配置完以后需要启动Hadoop服务。

启动Hadoop

格式化分布式文件系统
在启动Hadoop之前还要做***一个准备工作，那就是格式化分布式文件系统，这个只需要在主节点做就行了，具体如下：
/usr/lib/hadoop-0.20/bin/hadoop namenode -format

启动Hadoop服务

启动Hadoop可以通过以下命令来实现：
/usr/lib/hadoop-0.20/bin/start-all.sh注意：该命令是没有加sudo的，如果加了sudo就会提示出错信息的，因为root用户并没有做无验证ssh设置。以下是输出信息，注意hadoop-03是故意没接的，所以出现No route to host信息。 这样Hadoop就正常启动了！

测试Hadoop

Hadoop架设好了，接下来就是要对其进行测试，看看它是否能正常工作，如果测试已经成功，这说明Hadoop部署成功，能够在上面进行Map/Reduce分布性计算了。 本节关于Cloudera 实现Hadoop的相关内容到这里就结束了，谢谢关注。

分享名称：Cloudera实现Hadoop过程中Hadoop设置揭秘
标题路径：http://www.shufengxianlan.com/qtweb/news39/493089.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联