栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Hadoop大数据开发

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop大数据开发

1、下载解压Hadoop

cd /home/hadoop/app
tar -zxvf hadoop-3.3.1.tar.gz
rm hadoop-3.3.1.tar.gz
ln -s hadoop-3.3.1 hadoop

2、修改HDFS配置文件

cd /home/hadoop/app/hadoop/etc/hadoop

修改hadoop-env.sh

#修改JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

修改core-site.xml


	
		fs.defaultFS
		hdfs://mycluster
	
	
	
		hadoop.tmp.dir
		/home/hadoop/data/tmp
	
	
	
		ha.zookeeper.quorum
		hadoop01:2181,hadoop02:2181,hadoop03:2181
	
	

修改hdfs-site.xml


	
		dfs.replication
		3
	
	
	
		dfs.permissions
		false
	
	
		dfs.permissions.enabled
		false
	
	
	
		dfs.nameservices
		mycluster
	
	
	
		dfs.ha.namenodes.mycluster
		nn1,nn2
	
	
	
		dfs.namenode.rpc-address.mycluster.nn1
		hadoop01:9000
	
	
		dfs.namenode.http-address.mycluster.nn1
		hadoop01:50070
	
	
		dfs.namenode.rpc-address.mycluster.nn2
		hadoop02:9000
	
	
		dfs.namenode.http-address.mycluster.nn2
		hadoop02:50070
	
	
	
		dfs.ha.automatic-failover.enabled
		true
	
	
	
		dfs.namenode.shared.edits.dir
		qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/mycluster
	
	
	
		dfs.client.failover.proxy.provider.mycluster
		org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
	
	
	
		dfs.journalnode.edits.dir
		/home/hadoop/data/journaldata/jn
	
	
	
		dfs.ha.fencing.methods
		shell(/bin/true)
	
	
		dfs.ha.fencing.ssh.private-key-files
		/home/hadoop/.ssh/id_rsa
	
	
		dfs.ha.fencing.ssh.connect-timeout
		10000
	
	
		dfs.namenode.handler.count
		100
	

修改slaves
vi slaves

hadoop01
hadoop02
hadoop03

3、启动HDFS集群

#在hadoop01、hadoop02、hadoop03启动Zookeeper集群(参照前一篇文章)
#在hadoop01、hadoop02、hadoop03启动JournalNode集群
cd /home/hadoop/app/hadoop/sbin
hadoop-daemon.sh start journalnode
#在hadoop01上,格式化主节点NameNode
cd /home/hadoop/app/hadoop/bin
hdfs namenode -format #NameNode格式化
hdfs zkfc -formatZK #格式化高可用
hdfs namenode #启动namenode
#在hadoop02节点上执行
hdfs namenode -bootstrapStandby #同步主节点和备用节点间的元数据,
#同步完后,在hadoop01上ctrl + c结束进程
#在hadoop01、hadoop02、hadoop03启动JournalNode集群
cd /home/hadoop/app/hadoop/sbin
hadoop-daemon.sh stop journalnode
#如果上面都没有问题,以后可以一键启动HDFS集群
cd /home/hadoop/app/hadoop/sbin
start-dfs.sh

4、验证HDFS集群是否成功

#一个active、一个standby
http://hadoop01:50070
http://hadoop02:50070

命令验证

cd /home/hadoop/app/hadoop/bin
#本地创建一个djt.txt文件
vi djt.txt
hadoop dajiangtai
hadoop dajiangtai
hadoop dajiangtai
#在HDFS上创建一个文件目录
hdfs dfs -mkdir /test
#向HDFS上上传一个文件
hdfs dfs -put djt.txt /test
#查看djt.txt是否上传成功
hdfs dfs -ls /test
/test/djt.txt

如果上面没有异常,说明HDFS集群配置成功

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/985899.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号