Hadoop机架感知及启动停止方法详解

在学习Hadoop的过程中，你可能会遇到Hadoop的机架感知方面的问题，本节就向大家介绍一下Hadoop的机架感知方面的知识以及Hadoop的启动和停止的方法，欢迎大家一起来学习。下面是具体讲解。

创新互联专业为企业提供红塔网站建设、红塔做网站、红塔网站设计、红塔网站制作等企业网站建设、网页设计与制作、红塔企业网站模板建站服务，十载红塔做网站经验，不只是建网站，更提供有价值的思路和整体网络服务。

Hadoop的机架感知

HDFS和Map/Reduce的组件是能够感知机架的。

NameNode和JobTracker通过调用管理员配置模块中的APIresolve来获取集群里每个slave的机架id。该API将slave的DNS名称（或者IP地址）转换成机架id。使用哪个模块是通过配置项

topology.node.switch.mapping.impl来指定的。模块的默认实现会调用topology.script.file.name配置项指定的一个的脚本/命令。如果topology.script.file.name未被设置，对于所有传入的IP地址

，模块会返回/default-rack作为机架id。在Map/Reduce部分还有一个额外的配置项mapred.cache.task.levels，该参数决定cache的级数（在网络拓扑中）。例如，如果默认值是2，会建立两级的cache－一级针对主机（主机->任务的映射）另一级针对机架（机架->任务的映射）。

启动Hadoop

启动Hadoop集群需要启动HDFS集群和Map/Reduce集群。

格式化一个新的分布式文件系统：
$bin/hadoopnamenode-format

在分配的NameNode上，运行下面的命令启动HDFS：
$bin/start-dfs.sh

bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动DataNode守护进程。

在分配的JobTracker上，运行下面的命令启动Map/Reduce：
$bin/start-mapred.sh

bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动TaskTracker守护进程。

停止Hadoop

在分配的NameNode上，执行下面的命令停止HDFS：
$bin/stop-dfs.sh

bin/stop-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止DataNode守护进程。

在分配的JobTracker上，运行下面的命令停止Map/Reduce：
$bin/stop-mapred.sh

bin/stop-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止TaskTracker守护进程。

【编辑推荐】

1. 技术分享 Hadoop集群搭建方法
2. 实例讲解Hadoop用法
3. Hadoop集群与Hadoop性能优化
4. HadoopHBase实现配置简单的单机环境
5. Hadoop命令大全

新闻标题：Hadoop机架感知及启动停止方法详解
路径分享：http://www.shufengxianlan.com/qtweb/news6/90056.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联