Hadoop命令手册使用指南

在学习Hadoop的过程中，你可能经常遇到Hadoop命令方面的问题，本节就向大家介绍一些常用的Hadoop命令，欢迎大家一起来学习。

成都创新互联公司专注为客户提供全方位的互联网综合服务，包含不限于网站建设、网站制作、伊金霍洛网络推广、微信小程序开发、伊金霍洛网络营销、伊金霍洛企业策划、伊金霍洛品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们最大的嘉奖；成都创新互联公司为所有大学生创业者提供伊金霍洛建站搭建服务，24小时服务热线：028-86922220，官方网址：www.cdcxhl.com

Hadoop命令手册

所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。
用法：hadoop[--configconfdir][COMMAND][GENERIC_OPTIONS][COMMAND_OPTIONS]
Hadoop有一个选项解析框架用于解析一般的选项和运行类。

命令选项描述
--configconfdir覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf。
GENERIC_OPTIONS多个命令都支持的通用选项。
COMMAND
命令选项S各种各样的命令和它们的选项会在下面提到。这些命令被分为用户命令管理命令两组。

Hadoop命令常规选项

下面的选项被dfsadmin,fs,fsck和job支持。应用程序要实现Tool来支持常规选项。
GENERIC_OPTION描述
-conf指定应用程序的配置文件。
-D为指定property指定值value。
-fs指定namenode。
-jt指定jobtracker。只适用于job。
-files<逗号分隔的文件列表>指定要拷贝到mapreduce集群的文件的逗号分隔的列表。只适用于job。
-libjars<逗号分隔的jar列表>指定要包含到classpath中的jar文件的逗号分隔的列表。只适用于job。
-archives<逗号分隔的archive列表>指定要被解压到计算节点上的档案文件的逗号分割的列表。只适用于job。

用户命令

hadoop集群用户的常用命令。
archive
创建一个hadoop档案文件。参考HadoopArchives.
用法：hadooparchive-archiveNameNAME*

命令选项描述
-archiveNameNAME要创建的档案的名字。
src文件系统的路径名，和通常含正则表达的一样。
dest保存档案文件的目标目录。

distcp
Hadoop命令distcp用于递归地拷贝文件或目录。参考DistCp指南以获取等多信息。
用法：hadoopdistcp

命令选项描述
srcurl源Url
desturl目标Url

用法：hadoopfs[GENERIC_OPTIONS][COMMAND_OPTIONS]
运行一个常规的文件系统客户端。
各种命令选项可以参考HDFSShell指南。

fsck
Hadoop命令主要用来运行HDFS文件系统检查工具。参考Fsck了解更多。
用法：hadoopfsck[GENERIC_OPTIONS][-move|-delete|-openforwrite][-files[-blocks[-locations|-racks]]]

命令选项描述
检查的起始目录。
-move移动受损文件到/lost+found
-delete删除受损文件。
-openforwrite打印出写打开的文件。
-files打印出正被检查的文件。
-blocks打印出块信息报告。
-locations打印出每个块的位置信息。
-racks打印出data-node的网络拓扑结构。

jar

Hadoop命令主要用来运行jar文件。用户可以把他们的MapReduce代码捆绑到jar文件中，使用这个命令执行。
用法：hadoopjar[mainClass]args...
streaming作业是通过这个命令执行的。参考Streamingexamples中的例子。
Wordcount例子也是通过jar命令运行的。参考Wordcountexample。

job

命令选项描述
-submit提交作业
-status打印map和reduce完成百分比和所有计数器。
-counter打印计数器的值。
-kill杀死指定作业。
-events<#-of-events>打印给定范围内jobtracker接收到的事件细节。
-history[all]-history打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定[all]选项查看。
-list[all]-listall显示所有作业。-list只显示将要完成的作业。
-kill-task杀死任务。被杀死的任务不会不利于失败尝试。
-fail-task使任务失败。被失败的任务会对失败尝试不利。本节有关Hadoop命令简单介绍到这里。

网站标题：Hadoop命令手册使用指南
网站地址：http://www.shufengxianlan.com/qtweb/news36/548336.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容