Hadoop本地模式安装如何实现？

本节向大家介绍一下Hadoop本地安装是如何实现的，相信通过本文的介绍大家能够很快掌握Hadoop本地安装的方法，让我们一起来看一下如何进行Hadoop本地安装。为了便于大家理解，在没有介绍之前先看一下Hadoop的概念。

公司主营业务：成都网站建设、网站制作、移动网站开发等业务。帮助企业客户真正实现互联网宣传，提高企业的竞争能力。创新互联建站是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化，感谢他们对我们的高要求，感谢他们从不同领域给我们带来的挑战，让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。创新互联建站推出龙亭免费做网站回馈大家。

Hadoop本地模式安装

Hadoop概念
　　　Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。　　
Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streamingaccess）文件系统中的数据。当前最新版本是hadoop0.20.1。下面就hadoop0.20.1为蓝本，介绍在UbuntuLinux9.10下hadoop本地安装的方法。

支持的平台：
　　Linux，可作为开发和产品部署的平台；
　　Windows，可作为开发平台。

事先需要的软件：
　　1.JavaTM1.6.x，必须安装，建议选择Sun公司发行的Java版本；
　　2.ssh必须安装，并保证sshd运行，hadoop将以ssh进行通讯；
　　3.如果是windows，则需要装Cygwin，用以支持shell命令。

Hadoop安装可用的模式：
　　1.本地模式；
　　2.伪分布模式；
　　3.全分布模式。

本地模式安装步骤：
　　1.将hadoop安装包解压缩到某目录下；
　　2.修改conf/hadoop-env.sh文件，exportJAVA_HOME=那行设置正确的JAVA_HOME位置，当然如果事先在操作系统已经set完JAVA_HOME，可以忽略此步骤；
　　Hadoop本地模式安装完了，就这么简单！

测试一下运行效果：
　　$mkdirinput
　　$cpconf/*.xmlinput
　　$bin/hadoopjarhadoop-*-examples.jargrepinputoutput'dfs[a-z.]+'
　　$catoutput/*
这个示例程序是hadoop自带的，用于把conf下的xml文件拷贝到input目录下，并且找到并显示所有与最后一个参数的正则表达式相匹配的行，output是输出文件夹。本节关于Hadoop本地安装介绍到这里，希望你有所收获。

本文名称：Hadoop本地模式安装如何实现？
文章源于：http://www.shufengxianlan.com/qtweb/news22/285622.html

成都网站建设公司_创新互联，为您提供动态网站、微信公众号、营销型网站建设、虚拟主机、网站改版、网站策划

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联