专家指导 如何进行Hadoop分布式集群配置

作者：admin 2010-06-03 14:42:47

开发

架构

分布式

Hadoop Hadoop相信大家应该有所了解，那么什么是Hadoop分布式集群呢，这里向大家介绍一下Hadoop分布式集群配置方法，欢迎大家一起来学习。

创新互联建站服务项目包括华池网站建设、华池网站制作、华池网页制作以及华池网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，华池网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到华池省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

在学习Hadoop的过程中，你可能会遇到Hadoop分布式集群配置问题，本节和大家一起学习一下Hadoop分布式集群配置方法，希望通过本节的介绍大家能够掌握其方法。

Hadoop分布式集群配置总结

假设用2台机器配置hadoop分布式集群，192.168.11.13为主服务器namenode，192.168.11.17为数据节点datanode

1.配置SSH的无密码公钥
192.168.11.13
用root登录
创建用户linleran：adduserlinleran
设置密码：passwdlinleran
切换用户：sulinleran
到用户linleran的目录（/home/linleran）新建文件件.ssh：mkdir.ssh
修改目录.ssh权限为：[linleran@centos~]$chmod755.ssh

配置SSH的无密码公钥，一路回车。
[linleran@centos~]$ssh-keygen-trsa
Generatingpublic/privatersakeypair.
Enterfileinwhichtosavethekey(/home/linleran/.ssh/id_rsa):
Enterpassphrase(emptyfornopassphrase):
Entersamepassphraseagain:
Youridentificationhasbeensavedin/home/linleran/.ssh/id_rsa.
Yourpublickeyhasbeensavedin/home/linleran/.ssh/id_rsa.pub.
Thekeyfingerprintis:
df:99:37:84:a1:04:34:06:60:45:b9:ce:43:af:54:77linleran@centos.test
进入.ssh目录，将id_rsa.pub的内容复制到authorized_keys后面。
修改authorized_keys的权限为[linleran@centos.ssh]$chmod644authorized_keys。

192.168.11.17同样执行以内容，且将id_rsa.pub内容添加到192.168.11.13的authorized_keys后面，同时将192.168.11.13的id_rsa.pub内容添加过来，以确保2台机器相互可以ssh连接。Hadoop分布式集群配置时还要在主服务器安装hadoop。

2.在主服务器安装hadoop

解压tarzxvfhadoop-0.18.2.tar.gz

创建目录
/home/linleran/hadoop-0.18.2/hadoopfs/name
/home/linleran/hadoop-0.18.2/hadoopfs/data
/home/linleran/hadoop-0.18.2/tmp/

配置hadoop-env.sh设置jdk路径exportJAVA_HOME=/home/linleran/jdk1.5.0_15
配置conf/hadoop-site.xml

  
 
 

   
  
  
 
   
  
  
 
   
  
  
fs.default.name 
   
  
  
hdfs://192.168.11.13:9000/ 
   
  
  
 
   
  
  
 
   
  
  
mapred.job.tracker 
   
  
  
192.168.11.13:9001 
   
  
  
 
   
  
  
 
   
  
  
dfs.name.dir 
   
  
  
/home/linleran/hadoop-0.18.2/hadoopfs/name 
   
  
  
 
   
  
  
 
   
  
  
dfs.data.dir 
   
  
  
/home/linleran/hadoop-0.18.2/hadoopfs/data 
   
  
  
 
   
  
  
 
   
  
  
dfs.replication 
   
  
  
1 
   
  
  
 
   
  
  
 
   
  
  
hadoop.tmp.dir 
   
  
  
/home/linleran/hadoop-0.18.2/tmp/ 
   
  
  
 
   
  
  
 
  
 
 

配置conf/masters
将主机ip添加192.168.11.13

配置conf/slaves
将datanodeIP添加192.168.11.17

将配置好的hadoop通过scp部署到节点。scp–r/home/linleran/hadoop-0.18.2192.168.11.17:/home/linleran/hadoop-0.18.2 

3.Hadoop分布式集群配置时在主服务器启动

格式化一个新的分布式文件系统
bin/hadoopnamenode–format
启动服务
bin/start-all.sh

4.测试

测试分布式文件系统
mkdirtest-in
echo“helloword”>file1.txt
echo“hellohadoop”>file2.txt
bin/hadoopdfs–puttest-ininput
bin/hadoopjarhadoop-0.18.2-examples.jarwordcountinputoutput
bin/hadoopdfs–getoutputresult
catresult/*

5.Hadoop分布式集群配置过程中遇到的问题

SSH无密码访问不成功。.ssh目录需要755权限，authorized_keys需要644权限，否则一直提示输入密码。
linux防火墙开着，hadoop需要开的端口需要添加，或者关掉防火墙。否则会出现节点服务器一直无法连上主服务器。节点服务器的日志不断的retry：
INFOorg.apache.hadoop.ipc.Client:Retryingconnecttoserver…
数据节点连不上主服务器还有可能是使用了机器名的缘故，还是使用IP地址比较稳妥。
分布式文件系统报错，java.lang.IllegalArgumentException:WrongFS:，hadoop-site.xml要配置正确，fs.default.name的value是hdfs://IP:端口/，mapred.job.tracker的value是IP:端口

新闻标题：专家指导如何进行Hadoop分布式集群配置
URL地址：http://www.shufengxianlan.com/qtweb/news3/399553.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联