栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

JAVA大数据的第五十四天——Hadoop单机安装

JAVA大数据的第五十四天——Hadoop单机安装

Hadoop安装非常难,非常复杂,一不小心就GAME OVER

cd /opt/soft/install
  293  ls
  297  tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz
  298  ls
  299  ll
  300  vi /etc/profile
  301  mv  hadoop-2.6.0-cdh5.14.2/ hadoop260/
  302  vi /etc/profile
  303  source /etc/profile
  304  hadoop
  305  cd ./hadoop260/
  306  ls
  307  pwd
  308  cd ./etc/
  309  ls
  310  cd ./hadoop
  311  ls
  312  pwd
  313  ll
  314  pwd
  315  echo $JAVA_HOME
  316  vi ./hadoop-env.sh   1
  317  vi ./mapred-env.sh   2
  318  vi ./yarn-env.sh     3
  319  vi ./hadoop-env.sh
  320  vi ./mapred-env.sh
  321  vi ./yarn-env.sh
  322  hostname
  323  ip addr
  324  ls
  325  vi ./core-site.xml    4
  326  vi ./hdfs-site.xml    5
  327  cp  mapred-site.xml.template  mapred-site.xml
  328  vi ./mapred-site.xml   6
  329  vi ./yarn-site.xml     7
  330  vi ./slaves            8
  331  hadoop namenode -format  (初始化,慎用,只第一次)
  332  vi ./slaves
  333  cd /opt/soft/hadoop260/
  334  ls
  335  ll
  336  ls
  337  cd /opt/soft/install/hadoop260
  338  ls
  339  vd ./etc
  340  cd ./etc/
  341  cd ./hadoop
  342  history

[root@gree139 hadoop]# vi ./hdfs-site.xml 
[root@gree139 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@gree139 hadoop]# vi ./mapred-site.xml
[root@gree139 hadoop]# vi ./yarn-site.xml
[root@gree139 hadoop]# vi ./slaves 

[root@gree139 hadoop]# hadoop-daemon.sh start namenode
[root@gree139 hadoop]# hadoop-daemon.sh stop namenode

[root@gree139 hadoop]# hadoop-daemon.sh stop datanode
[root@gree139 hadoop]# hadoop-daemon.sh start datanode

[root@gree139 hadoop]# hadoop-daemon.sh start secondarynamenode
[root@gree139 hadoop]# hadoop-daemon.sh stop secondarynamenode

启动yarn资源管理器  NodeManager ResourceManager
[root@gree139 hadoop]# start-yarn.sh
[root@gree139 hadoop]# stop-yarn.sh

启动hdfs DataNode namenode secondarynamenode
[root@gree139 hadoop]# start-dfs.sh 
[root@gree139 hadoop]# stop-dfs.sh 

[root@gree139 hadoop]# yarn-daemon.sh start nodemanager
[root@gree139 hadoop]# yarn-daemon.sh stop nodemanager
[root@gree139 hadoop]# yarn-daemon.sh start resourcemanager
[root@gree139 hadoop]# yarn-daemon.sh stop resourcemanager

全部启动
[root@gree139 hadoop]# start-all.sh 
[root@gree139 hadoop]# stop-all.sh 


http://hostname/ip:50070  HDFS

http://gree139:8088/      yarn管理界面

http://gree139:19888/     jobhistory界面

启动历史服务
[root@gree139 hadoop]# mr-jobhistory-daemon.sh start historyserver

[root@gree139 hadoop]# jps
6064 NodeManager
6289 JobHistoryServer
5346 NameNode
5783 ResourceManager
6359 Jps
5627 SecondaryNameNode
5469 DataNode

命令方式查看 节点状态
[root@gree139 hadoop]# yarn node -list -all

在hdfs文件系统中创建input目录
[root@gree139 hadoop]# hdfs dfs -mkdir /input

查看目录下的文件信息
[root@gree139 hadoop]# hdfs dfs -ls /

上传文件到hdfs指定目录下
[root@gree139 hadoop]# hdfs dfs -put ./yarn-env.sh /input/

下载
[root@gree139 hadoop260]# hdfs dfs -get /input/yarn-env.sh ./yarn-env.sh.bak

删除
[root@gree139 hadoop260]# hdfs dfs -ls /input

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/350422.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号