Hadoop集群搭建过程中相关环境配置详解

本节向大家介绍一下Hadoop集群搭建的具体步骤，本节主要内容有系统配置和Hadoop文件配置等，相信通过本节的介绍大家对Hadoop集群搭建有一定的认识，让我们一起来学习吧。
下面是Hadoop集群搭建具体介绍。

成都创新互联公司是一家网站建设、成都做网站，提供网页设计，网站设计，网站制作，建网站，按需策划，网站开发公司，从2013年成立是互联行业建设者，服务者。以提升客户品牌价值为核心业务，全程参与项目的网站策划设计制作，前端开发，后台程序制作以及后期项目运营并提出专业建议和思路。

Hadoop集群搭建

一、Linux系统配置

1、在所有的机器上都建立相同的目录，也可以就建立相同的用户，以该用户的home路径来做hadoop的安装路径。例如在所有的机器上都建立了名为fan的用户：/home/fan。

2、Etc/hosts文件末尾添加IP-主机映射关系，例如：

192.168.146.161fan001
192.168.146.162fan002
192.168.146.163fan003
192.168.146.164fan004

二、Hadoop集群搭建时RedHat中jdk的卸载和安装

（一）jdk1.4卸载

由于redhatEnterprise5中自带安装了jdk1.4的，所以在安装jdk1.6前我把jdk1.4的卸了，步骤如下：

1、打开终端输入#rpm-qa|grepgcj，其现实内容有：
java-1.4.2-gci-compat.........
java-1.4.2-gcj-compat-devel.....(具体忘了是什么了，反正有两个java开头的文件)

2、卸载
#rpm-e--nodepsjava-1.4.2-gci...(利用rpm-e--nodeps命令删除上面查找的内容)此时jdk1.4已被卸了。

（二）jdk1.6安装

1.从网站上下载jdk1.6包(jdk-6u18-ea-bin-b04-linux-i586-28_oct_2009.bin),放到/usr目录下。

2.在linux中切换到/usr目录下，修改jdk1.6的使用权限：
#chmodu+xjdk-6u18-ea-bin-b04-linux-i586-28_oct_2009.bin

3.解压并安装：#./jdk-6u10-linux-i586-rpm.bin(默认安装在/usr/java中)可按ctrl+c跳过提示

4.Hadoop集群搭建中jdk1.6安装环境变量配置：

文件目录：/etc/profile
在该profile文件中添加：
JAVA_HOME=/usr/java/jdk1.6.0_10
JRE_HOME=/usr/java/jdk1.6.0_10/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binCLASSPATH=.:$JAVA_HOME/lib/jt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib(注意：前面的.:，linux中的；号为：号)
exportJAVA_HOMEJRE_HOMEPATHCLASSPATH

添加完毕保存退出
#source/etc/profile
#java-version
显示javaversion"1.6.0_10"(jdk1.6安装成功)

5、卸载rpm版的jdk：（未使用）
#rpm-qa|grepjdk
显示：jdk-1.6.0_10-fcs
卸载：#rpm-e--nodepsjdk-1.6.0_10-fcs

三、配置Hadoop

看一下Hadoop集群搭建中关于Hadoop的配置。首先下载Hadoop，解压到Master上，放到用户根目录下。这里我是下载的0.19.2的版本。此时Hadoop的安装路径就是/home/fan/hadoop-0.19.2。然后修改Hadoop配置文件，解压后进入conf目录，主要需要修改以下文件：hadoop-env.sh，hadoop-site.xml、masters、slaves。

1、修改conf/hadoop-env.sh，添加jdk支持exportJAVA_HOME=/usr/jdk1.6.0_18

2、修改hadoop目录下的conf/site-site.xml文件。

3、masters增加：
fan001
slaves增加：
fan002
fan003
fan004，本节关于Hadoop集群搭建介绍没有结束，请继续关注。

【编辑推荐】

1. 技术分享 Hadoop集群搭建方法
2. Hadoop安装与使用如何进行？
3. 专家讲解 Hadoop:HBASE松散数据存储设计
4. 两种模式运行Hadoop分布式并行程序
5. Hadoop应用之Hadoop安装篇

分享标题：Hadoop集群搭建过程中相关环境配置详解
文章URL：http://www.shufengxianlan.com/qtweb/news40/26490.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联