栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 其他 > Hadoop

轻松实现Hadoop Hdfs配置

Hadoop 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

轻松实现Hadoop Hdfs配置

本节和大家一起学习一下Hadoop Hdfs配置方法,希望通过本节的介绍大家能够掌握如何配置Hadoop Hdfs,以便在以后的学习过程中碰到此类问题是能快速解决。下面是具体介绍。

Hadoop Hdfs配置

环境:

Jdk1.6
Hadoop-2.20.1
Fuse-2.8.1
--------------------------------------------------------------------------------

Jdk1.6下载地址
http://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_Developer-Site/en_US/-/USD/VerifyItem-Start/jdk-6u14-linux-i586.bin?BundledLineItemUUID=.1JIBe.mR4oAAAEh1jkH4cNK&OrderID=SHBIBe.mbIYAAAEhwDkH4cNK&ProductID=4ZhIBe.o8c4AAAEhkh0zLjfT&FileName=/jdk-6u14-linux-i586.bin
hadoop-2.20.1下载地址http://www.apache.org/dyn/closer.cgi/hadoop/core/
Fuse-2.8.1下载地址http://sourceforge.net/projects/fuse/files/fuse-2.X/

NameNode192.168.1.11Centos5.3hostnamemaster-dfs
JobTracker192.168.1.11(这个也可单独配置一台)
DataNode192.168.1.12Centos5.3hostname:data-dfs
Client192.168.1.13Centos5.3hostname:client-dfs

Hadoop Hdfs配置先决条件

配置ssh自动登陆,详细见http://hadoop.apache.org/common/docs/r0.20.0/quickstart.html

安装

1、JDK安装,解压到/usr/local/jdk1.6,并配置/etc/profile环境

exportJAVA_HOME=/usr/local/jdk1.6
exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATH
exportCLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
2、下载Hadoop解压到每台服务器的/data/soft目录下,***目录都相同。
tarzxvfhadoop-2.20.1.tar.gz
配置

配置说明
Hadoop Hdfs配置过程中Hadoop的具体配置选项说明详见http://www.hadoop.org.cn/document/cn/r0.18.2/cluster_setup.html

1、修改conf/hadoop-env.sh,添加jdk支持,exportJAVA_HOME=/usr/local/jdk1.6
2、cd/data/soft/hadoop-2.20.1修改hadoop目录下的conf/core-site.xml文件,增加以下内容:

  1.   
  2. fs.default.name hdfs://ws:54310//你的namenode的配置,机器名加端口  
  3.   
  4. dfs.name.dir /data/hdfs/hdfs1//NameNode持久存储名字空间及事务日志的本地文件系统路径。  
  5.   
  6. dfs.data.dir//DataNode存放块数据的本地文件系统路径,逗号分割的列表。  /data/hdfs/hdfsdata1 
  7.   
  8. hadoop.tmp.dir>//Hadoop的默认临时路径,这个***配置,然后在新增节点或者其他情况下莫名其妙的DataNode启动不了,就删除此文件中的tmp目录即可。
  9. 不过如果删除了NameNode机器的此目录,那么就需要重新执行NameNode格式化的命令了。  /data/hdfs/hdfstmp 
  10. Abaseforothertemporarydirectories.  
  11.  dfs.replication//数据需要备份的数量,默认是三  
  12. 1  
  13.   

 3、修改conf/mapred-site.xml增加如下内容: 

  1.  mapred.job.tracker//JobTracker的主机(或者IP)和端口。  
  2. ws:54311  
  3.  

 4、配置/masters,修改conf//masters
master-dfs
修改hosts文件vi/etc/hosts

192.168.1.11master-dfs
192.168.1.12data-dfs
192.168.1.13client-dfs,请期待下节有关Hadoop Hdfs配置介绍。

【编辑推荐】

    Hadoop配置指导手册 Hbase和Hadoop操作文件性能测试 Hadoop集群与Hadoop性能优化 Hadoop 从Yahoo向Google的技术转折 Hadoop初探

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/796490.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号