轻松实现HadoopHdfs配置

本节和大家一起学习一下Hadoop Hdfs配置方法，希望通过本节的介绍大家能够掌握如何配置Hadoop Hdfs，以便在以后的学习过程中碰到此类问题是能快速解决。下面是具体介绍。

十载建站经验，做网站、成都网站设计客户的见证与正确选择。创新互联提供完善的营销型网页建站明细报价表。后期开发更加便捷高效，我们致力于追求更美、更快、更规范。

Hadoop Hdfs配置

环境:

Jdk1.6
Hadoop-2.20.1
Fuse-2.8.1
--------------------------------------------------------------------------------

Jdk1.6下载地址
http://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_Developer-Site/en_US/-/USD/VerifyItem-Start/jdk-6u14-linux-i586.bin?BundledLineItemUUID=.1JIBe.mR4oAAAEh1jkH4cNK&OrderID=SHBIBe.mbIYAAAEhwDkH4cNK&ProductID=4ZhIBe.o8c4AAAEhkh0zLjfT&FileName=/jdk-6u14-linux-i586.bin
hadoop-2.20.1下载地址http://www.apache.org/dyn/closer.cgi/hadoop/core/
Fuse-2.8.1下载地址http://sourceforge.net/projects/fuse/files/fuse-2.X/

NameNode192.168.1.11Centos5.3hostnamemaster-dfs
JobTracker192.168.1.11(这个也可单独配置一台)
DataNode192.168.1.12Centos5.3hostname:data-dfs
Client192.168.1.13Centos5.3hostname:client-dfs

Hadoop Hdfs配置先决条件

配置ssh自动登陆，详细见http://hadoop.apache.org/common/docs/r0.20.0/quickstart.html

安装

1、JDK安装,解压到/usr/local/jdk1.6,并配置/etc/profile环境

exportJAVA_HOME=/usr/local/jdk1.6
exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATH
exportCLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
2、下载Hadoop解压到每台服务器的/data/soft目录下，***目录都相同。
tarzxvfhadoop-2.20.1.tar.gz
配置

配置说明
Hadoop Hdfs配置过程中Hadoop的具体配置选项说明详见http://www.hadoop.org.cn/document/cn/r0.18.2/cluster_setup.html

1、修改conf/hadoop-env.sh，添加jdk支持，exportJAVA_HOME=/usr/local/jdk1.6
2、cd/data/soft/hadoop-2.20.1修改hadoop目录下的conf/core-site.xml文件，增加以下内容：

 
 
 
  
  
  
  
  
  
  
  
  fs.default.name
  
  
  hdfs://ws:54310//你的namenode的配置，机器名加端口 
  
  
  
  
  
  
  
  
  dfs.name.dir
  
  
  /data/hdfs/hdfs1//NameNode持久存储名字空间及事务日志的本地文件系统路径。 
  
  
  
  
  
  
  
  
  dfs.data.dir//DataNode存放块数据的本地文件系统路径，逗号分割的列表。 
  
  
  /data/hdfs/hdfsdata1
  
  
  
  
  
  
  
  
  hadoop.tmp.dir>//Hadoop的默认临时路径，这个***配置，然后在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。
  
  
  不过如果删除了NameNode机器的此目录，那么就需要重新执行NameNode格式化的命令了。 
  
  
  /data/hdfs/hdfstmp
  
  
  Abaseforothertemporarydirectories.
  
  
  
  
  
  
  
  
  dfs.replication//数据需要备份的数量，默认是三 
  
  
  1

3、修改conf/mapred-site.xml增加如下内容：

 
 
 
  
  
  
  
  
  mapred.job.tracker//JobTracker的主机（或者IP）和端口。 
  
  
  ws:54311

4、配置/masters,修改conf//masters
master-dfs
修改hosts文件vi/etc/hosts

192.168.1.11master-dfs
192.168.1.12data-dfs
192.168.1.13client-dfs，请期待下节有关Hadoop Hdfs配置介绍。

文章名称：轻松实现HadoopHdfs配置
文章路径：http://www.shufengxianlan.com/qtweb/news10/506360.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容