创新互联Hadoop教程：Hadoop配置

配置hadoop之前做好准备工作

1.修改主机名称，我这里创建了三个虚拟主机，分别命名node-1，node-2，node-3，进入 network 文件删掉里面的内容直接写上主机名就可以了

成都创新互联于2013年创立，是专业互联网技术服务公司，拥有项目成都做网站、网站设计、外贸营销网站建设网站策划，项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命，1280元商州做网站,已为上家服务,为商州各地企业和个人服务,联系电话:028-86922220

vi /etc/sysconfig/network

2.映射 IP 和主机名，之后 reboot 重启主机

[root@node-1 redis-cluster]# vim /etc/hosts
192.168.0.1 node-1
192.168.0.2 node-2
192.168.0.3 node-3

3.检测防火墙（要关闭防火墙），不同系统的防火墙关闭方式不一样，以下做个参考即可

1.service iptables stop  关闭
2.chkconfig iptables off  强制关闭  除非手动开启不然不会自动开启
3.chkconfig iptanles  查看
4.service  iptables status 查看防火墙状态

4.ssh 免密码登录

输入命令：ssh-keygen -t rsa  然后点击四个回车键，如下图所示：

然后通过 ssh-copy-id  对应主机 IP，之后通过“ssh 主机名/IP”  便可以不输入密码即可登录相应的主机系统

开始配置 Hadoop 相关文件

上传 hadoop 安装包解压后进入 hadoop-2.7.6/etc/hadoop 目录下
以下所有的 都是写在各自相应配置文件末尾的 标签里面

第一个 hadoop-env.sh

vi hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_171   #JAVA_HOME写上自己jdk 的安装路径

第二个 ：core-site.xml

vi core-site.xml

	fs.defaultFS
	hdfs://node-1:9000



	hadoop.tmp.dir
	/export/data/hddata

第三个： hdfs-site.xml

vi hdfs-site.xml

	dfs.replication
	2



	dfs.namenode.secondary.http-address
	node-2:50090

第四个： mapred-site.xml

mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml



	mapreduce.framework.name
	yarn

第五个：yarn-site.xml

vi yarn-site.xml

	yarn.resourcemanager.hostname
	node-1





	yarn.nodemanager.aux-services
	mapreduce_shuffle

第六个：slaves 文件，里面写上从节点所在的主机名字

vi slaves
node-1
node-2
node-3

第七个：将 Hadoop 添加到环境变量

vi /etc/profile
export HADOOP_HOME=/export/server/hadoop-2.7.6
export PATH=$HADOOP_HOME/bin:$PATH

然后将 hadoop 安装包远程发送给各个副计算机

scp -r /export/server/hadoop-2.7.6/ root@node-2:/export/server/
scp -r /export/server/hadoop-2.7.6/ root@node-3:/export/server/

把配置好的环境变量也要远程发送给各个副计算机

scp -r /etc/profile root@node-2:/etc/
scp -r /etc/profile root@node-3:/etc/

然后试所有的计算机环境变量生效

source /etc/profile

关于 hadoop的 配置说明
在 hadoop 官网，左下角点击 Documentation 点击相应的版本进去，拉到最左下角有 ***-default.xml
***-default.xml 是默认的配置，如果用户没有修改这些选项将会生效
***-site.xml 是用户自定义的配置
site的配置选项优先级大于 default 的，如果 site 里面有就会覆盖 default 里面的

标题名称：创新互联Hadoop教程：Hadoop配置
分享路径：http://www.shufengxianlan.com/qtweb/news35/195835.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联