Hadoop杂烩

• 启动进程
• 快捷键
• 安装Jdk和Hadoop
• wordcount案例
• HDFS
• • 1. 配置文件
  • 2. 启动集群
  • 3. 测试

bin/hdfs dfs -rm -r
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount 

hdfs删除命令
bin/hdfs dfs -rm -r

hdfs运行命令
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount

1.解压 tar -zxvf ******
2.配置环境变量 vim /etc/profile
2.1 输入相应的环境变量

## JAVA_HOME
export JAVA_HOME=/opt/jdk1.8.0_144
## 路径不唯一  可以进入jkd  然后用pwd看路径
export PATH=$PATH:$JAVA_HOME/bin
## HADOOP
export HADOOP_HOME=/opt/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

3.更新 source /etc/profile

1. 在hadoop路径下创建一个wcinput文件夹 mkdir wcinput,然后创建 touch wc.input
2. 编辑wc.input vim wc.input 在里面随便输点什么，保存退出
3. 在/opt/Hadoop-2.7.2目录下执行 wordcount
   hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput
4. 看结果 cat wcoutput/part-r-00000

1. 配置core-site.xml，进入 /opt/hadoop-2.7.2/etc/hadoop 目录下，vim core-site.xml
2. 在两个 中间写入一下代码，保存退出

 
	fs.defaultFS
	hdfs://localhost:9000 



 
	hadoop.tmp.dir
	/opt/hadoop-2.7.2/data/tmp 

3. 配置hadoop-env.sh，vim hadoop-env.sh，写入JAVA_HOME，用 echo $JAVA_HOME 看java路径。如图
   
4. 配置hdfs-site.xml，vim hdfs-site.xml ，写入以下代码

 
	dfs.replication
	1 

1. 格式化NameNode
   bin/hdfs namenode -format
2. 启动NameNode
   sbin/hadoop-daemon.sh start namenode
3. 启动DataNode
   sbin/hadoop-daemon.sh start datanode
4. 查看启动情况 jps 或者是 在虚拟机里的网页打开 localhost:50070

1. 创建文件 ，结果如图
   bin/hdfs dfs -mkdir -p /user/root/input
   
2. 上传文件，这里是之前的那个wordcount案例的文件。刷新网页即看到文件
   bin/hdfs dfs -put wcinput/wc.input /user/root/input
   
3. 执行hdfs上的文件，output不能事先创建。结果如图
   bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/root/input /user/root/output
   
4. 在本地看hdfs的结果
   bin/hdfs dfs -cat /user/root/output/p*

在这里插入代码片

CODE
CODE