Windows下轻松实现Hadoop开发环境安全配置

本节接着上节向大家介绍Windows下基于Eclipse的Hadoop开发环境完全配置的方法步骤，上节介绍了配置的准本工作，接下来该开始配置Hadoop了，这里向大家简单分享一下，希望本节的学习可以让你对Hadoop开发环境有新的理解。

目前成都创新互联公司已为上千多家的企业提供了网站建设、域名、网站空间、网站托管、服务器托管、企业网站设计、新晃网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。

Windows下基于Eclipse的Hadoop开发环境完全配置

一，解压文件

打开一个cygwin，输入以下命令
cd.
explorer.
会弹出一个新窗口，把原来下载的hadoop压缩文件放到里面，并解压。个人认为，其实不一定要放到cygwin的用户根目录下，没试过。

二，配置Hadoop

打开解压出来的文件夹，在hadoop-0.19.2\conf目录下有一个hadoop-site.xml文件，打开，在原有的
间插入

 
 
 
  
  
  
  
  
  fs.default.name
  
  
  hdfs://localhost:9100
  
  
  
  
  
  
  
  
  mapred.job.tracker
  
  
  localhost:9101
  
  
  
  
  
  
  
  
  dfs.replication
  
  
  1

保存。

三，格式化NameNode

打开一个cygwin，转到hadoop目录下，如果按照前面的解压，直接用cdhadoop-0.19.2就可以了，接着输入以下命令：
mkdirlogs
bin/hadoopnamenode-format

四，安装Eclipse插件

因为本节介绍的Hadoop开发环境配置是基于Eclipse的，所以需要安装Eclipse插件。打开解压后的文件夹，把hadoop-0.19.2\contrib\eclipse-plugin下的hadoop-0.19.2-eclipse-plugin.jar文件拷到eclipse的plugins目录下，重启eclipse，在Window-》OpenPerspective-》other，弹出的窗口中应该有一项Map/Reduce项，代表安装成功了。如果没有的话，把eclipse下的configuration\org.eclipse.update文件夹删了，再重启eclipse。

五，启动Hudoop集群
启动五个cygwin。

在***中启动NameNode，执行：
cdhadoop-0.19.2
bin/hadoopnamenode

在第二个中启动SecondaryNameNode，执行：
cdhadoop-0.19.2
bin/hadoopsecondarynamenode

第三个中启动jobtracker执行：
cdhadoop-0.19.2
bin/hadoopjobtracker

第四个中启动datanode，执行：
cdhadoop-0.19.2
bin/hadoopdatanode

***一个启动tasktracker，执行：
cdhadoop-0.19.2
bin/hadooptasktracker

六，在Eclipse中配置Hadoop开发环境

启动eclipse，转到Map/ReducePerspective,在上图的Map/ReduceLocations里，新建一个Location，填入以下值
*LocationName--localhost
*Map/ReduceMaster
oHost--localhost
oPort--9101
*DFSMaster
oCheck"UseM/RMasterHost"
oPort--9100
*Username--默认

七，上传文件到HDFS

打开一个cygwin，执行
cdhadoop-0.19.1
bin/hadoopfs-mkdirIn
bin/hadoopfs-put*.txtIn
这时，在eclipse的Projectexplorer的DFSlocation中，应该能反应变化，没有的话，reconnect一下。Hadoop开发环境安全配置的下一步该创建工程了。

八，创建工程

启动Eclipse，右键点击ProjectExplorer窗口，选择New->Project..找到Map/ReduceProject，点Next，输入名字。
点击下面的ConfigHadoopInstallDirectiory，输入Hadoop的目录，如：C:\cygwin\home\User\hadoop-0.19.2
右键点击新创建的Hadoop工程，选择New->Other转到Map/Reduce文件夹,选择MapReduceDriver然后点击Next，输入名字，点击Finish。
新创建了一个文件，但是有错误，把
conf.setInputPath(newPath("src"));
conf.setOutputPath(newPath("out"));
换为
conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);

FileInputFormat.setInputPaths(conf,newPath("In"));
FileOutputFormat.setOutputPath(conf,newPath("Out"));
右键点击文件，选择RunAs-->RunonHadoop.在弹出的窗口中选择"Chooseexistinghadooplocation",然后选择刚才创建的localhost，点Finish就开始运行了。至此本节关于Hadoop开发环境安全配置就完成了。

网站名称：Windows下轻松实现Hadoop开发环境安全配置
分享URL：http://www.shufengxianlan.com/qtweb/news42/267142.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容