栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 其他 > Hadoop

Windows下轻松实现Hadoop开发环境安全配置

Hadoop 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Windows下轻松实现Hadoop开发环境安全配置

本节接着上节向大家介绍Windows下基于Eclipse的Hadoop开发环境完全配置的方法步骤,上节介绍了配置的准本工作,接下来该开始配置Hadoop了,这里向大家简单分享一下,希望本节的学习可以让你对Hadoop开发环境有新的理解。

Windows下基于Eclipse的Hadoop开发环境完全配置
 

一,解压文件

打开一个cygwin,输入以下命令
cd.
explorer.
会弹出一个新窗口,把原来下载的hadoop压缩文件放到里面,并解压。个人认为,其实不一定要放到cygwin的用户根目录下,没试过。

二,配置Hadoop

打开解压出来的文件夹,在hadoop-0.19.2conf目录下有一个hadoop-site.xml文件,打开,在原有的
间插入
 

  1.  fs.default.name 
  2. hdfs://localhost:9100  
  3.  mapred.job.tracker 
  4. localhost:9101  
  5.  dfs.replication 
  6. 1  

 

保存。

三,格式化NameNode

打开一个cygwin,转到hadoop目录下,如果按照前面的解压,直接用cdhadoop-0.19.2就可以了,接着输入以下命令:
mkdirlogs
bin/hadoopnamenode-format

四,安装Eclipse插件

因为本节介绍的Hadoop开发环境配置是基于Eclipse的,所以需要安装Eclipse插件。打开解压后的文件夹,把hadoop-0.19.2contribeclipse-plugin下的hadoop-0.19.2-eclipse-plugin.jar文件拷到eclipse的plugins目录下,重启eclipse,在Window-》OpenPerspective-》other,弹出的窗口中应该有一项Map/Reduce项,代表安装成功了。如果没有的话,把eclipse下的configurationorg.eclipse.update文件夹删了,再重启eclipse。

五,启动Hudoop集群
启动五个cygwin。

在***中启动NameNode,执行:
cdhadoop-0.19.2
bin/hadoopnamenode

在第二个中启动SecondaryNameNode,执行:
cdhadoop-0.19.2
bin/hadoopsecondarynamenode

第三个中启动jobtracker执行:
cdhadoop-0.19.2
bin/hadoopjobtracker

第四个中启动datanode,执行:
cdhadoop-0.19.2
bin/hadoopdatanode

***一个启动tasktracker,执行:
cdhadoop-0.19.2
bin/hadooptasktracker

六,在Eclipse中配置Hadoop开发环境

启动eclipse,转到Map/ReducePerspective,在上图的Map/ReduceLocations里,新建一个Location,填入以下值
*LocationName--localhost
*Map/ReduceMaster
oHost--localhost
oPort--9101
*DFSMaster
oCheck"UseM/RMasterHost"
oPort--9100
*Username--默认

七,上传文件到HDFS

打开一个cygwin,执行
cdhadoop-0.19.1
bin/hadoopfs-mkdirIn
bin/hadoopfs-put*.txtIn
这时,在eclipse的Projectexplorer的DFSlocation中,应该能反应变化,没有的话,reconnect一下。Hadoop开发环境安全配置的下一步该创建工程了。

八,创建工程

启动Eclipse,右键点击ProjectExplorer窗口,选择New->Project..找到Map/ReduceProject,点Next,输入名字。
点击下面的ConfigHadoopInstallDirectiory,输入Hadoop的目录,如:C:cygwinhomeUserhadoop-0.19.2
右键点击新创建的Hadoop工程,选择New->Other转到Map/Reduce文件夹,选择MapReduceDriver然后点击Next,输入名字,点击Finish。
新创建了一个文件,但是有错误,把
conf.setInputPath(newPath("src"));
conf.setOutputPath(newPath("out"));
换为
conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);

FileInputFormat.setInputPaths(conf,newPath("In"));
FileOutputFormat.setOutputPath(conf,newPath("Out"));
右键点击文件,选择RunAs-->RunonHadoop.在弹出的窗口中选择"Chooseexistinghadooplocation",然后选择刚才创建的localhost,点Finish就开始运行了。至此本节关于Hadoop开发环境安全配置就完成了。

【编辑推荐】

    Hadoop Hdfs配置过程全程报道 Hadoop开发环境在Windows下的安全配置如何实现? 专家讲解 Hadoop:Hbase松散数据存储设计 两种模式运行Hadoop分布式并行程序 Hadoop概念及其用法专家讲解

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/796496.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号