Hadoop_Linux

Hadoop

1.Hadoop主要包括以下三大组件

    HDFS(分布式存储系统)
        NameNode:HDFS集群主节点
        SecondaryNamenode:NameNode 的冷备份
        DateNode:是 HDFS 集群从节点
    YARN（资源管理器）----MapReduce、Storm,spark,flink
        ResourceManager
        NodeManager
   MapReduce(分布式并行计算系统)

2.HDFS分布式存储系统

1）HDFS的基础架构

2）HDFS的特点

一次写入多次读取不适合低延迟数据访问无法高效存储大量小文件不支持多用户写入及任意修改文件

3）高可用（容灾设计）

在NameNode和DateNode之间维持心跳检测，如果NameNode不能正常收到DataNode的心跳，则认为该节点挂了。NameNode会检索副本数目小于设置值文件块，复制其新的副本，并分发到其他数据节点上。检测文件块的完整性：HDFS会记录每个新创建的文件的所有块的校验，检索时会优先提取校验和记录相同的副本。集群的负载均衡：当某个数据节点的空闲空间大于一个临界值的时候，HDFS 会自动从其他数据节点迁移数据过来。

4)基本操作

CLI基本操作

创建目录	
    hdfs dfs -mkdir -p /user/test/input
上传文件	
    hdfs dfs -put etc/hadoopsession optional pam_loginuid.so/g' /etc/pam.d/sshd
    /bin/echo -e "LANG="en_US.UTF-8"" > /etc/default/local
启动服务
    /usr/sbin/sshd -D

检测是否可以免密SSH登录localhost,不果不能，则执行以下命令
  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  chmod 0600 ~/.ssh/authorized_keys

3）域名配置

编辑hosts文件，添加域名：
命令：
    vi /etc/hosts
内容：
    192.168.31.10 master
    192.168.31.11 slave01
    192.168.31.12 slave02

4）JDK安装

1.下载JDK1.8安装包,上传至服务器，并解压。
2.环境变量配置
        vim /etc/profile
    在文件最后添加
        export JAVA_HOME=/home/hadoop/java/jdk1.8.0_161
        export PATH=$PATH:$JAVA_HOME/bin
3.刷新使生效
    source /etc/profile

5）Hadoop安装

下载安装包，并解压至服务器。

下载地址：	
    https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
官网下载极慢，建议使用下面链接
    https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/

6）Hadoop配置

hadoop-env.sh
	export JAVA_HOME=/usr/local/software/java8/jdk1.8.0_311/
    export HDFS_NAMENODE_USER=root
    export HDFS_DATANODE_USER=root
    export HDFS_SECONDARYNAMENODE_USER=root
    export YARN_RESOURCEMANAGER_USER=root
    export YARN_NODEMANAGER_USER=root
-----------------------------------
core-site.xml

	
		hadoop.tmp.dir
		file:/usr/local/hadoop/tmp
		Abase for	other temporary	directories.
	
	
		fs.defaultFS
		hdfs://master:9000
	
	
-----------------------------------	
hdfs-site.xml

  
    dfs.namenode.name.dir
    file:/usr/local/software/hadoop/hadoop-3.3.1/namenode_dir
  
  
    dfs.datanode.data.dir
    file:/usr/local/software/hadoop/hadoop-3.3.1/datanode_dir
  
  
    dfs.replication
    3
  
  
  
    dfs.http.address
    master:50070
  
	
----------------------------------------
mapred-site.xml	

  
    mapreduce.framework.name
    yarn
  
  
    yarn.app.mapreduce.am.env
    HADOOP_MAPRED_HOME=${HADOOP_HOME}
  
  
    mapreduce.map.env
    HADOOP_MAPRED_HOME=${HADOOP_HOME}
  
  
    mapreduce.reduce.env
    HADOOP_MAPRED_HOME=${HADOOP_HOME}
  

----------------------------------------	
yarn-site.xml

     
     
         yarn.nodemanager.aux-services
         mapreduce_shuffle
     
     
         yarn.resourcemanager.hostname
         master
     
     
         yarn.nodemanager.resource.memory-mb
         20480
     
     
         yarn.scheduler.minimum-allocation-mb
         2048
     
     
         yarn.nodemanager.vmem-pmem-ratio
         2.1
     
 
------------------------------------
配置域名
修改主节点文件：etc/hadoop/workers，将 localhost 替换成两个 slave 的主机名
    slave01
    slave02

7)启动hadoop集群

格式化
    hdfs namenode -format
启动hdfs集群
    sbin/start-dfs.sh
启动yarn集群
    sbin/start-yarn.sh

8）踩坑点说明

1.50070端口不能访问
1）hdfs-site.xml天机端口配置
  
    dfs.http.address
    master:50070
  
2）删除节点数据
3）格式化
4）启动hdfs集群
5）启动yarn集群


2.报错：Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
mapred-site.xml中添加配置：
  
    yarn.app.mapreduce.am.env
    HADOOP_MAPRED_HOME=${HADOOP_HOME}
  
  
    mapreduce.map.env
    HADOOP_MAPRED_HOME=${HADOOP_HOME}
  
  
    mapreduce.reduce.env
    HADOOP_MAPRED_HOME=${HADOOP_HOME}
  

3.http://192.168.31.10:50070页面查看文件失败

在客户端机器上，更改C:WindowsSystem32driversetchosts文件，添加hadoop集群域名信息：
    192.168.31.10 master
    192.168.31.11 slave01
    192.168.31.12 slave02

Hadoop

Linux相关栏目本月热门文章