hadoop安装笔记

1.简单介绍

1.1 hadoop官网1.2 hadoop定义1.3 hadoop简单分类1.4 hdfs 2.前期准备3.hadoop安装

3.1 配置文件3.2 设置免登陆3.3 格式化3.4 启动服务

hadoop.apache.org
spark.apache.org

安装教程最好根据官网的来

狭义:
存储 HDFS
计算 MapReduce MR
资源以及计算作业的调度分配 YRAN
最重要的是存储

广义：hadoop生态圈所有软件
hive sqoop Hbase kafka spark flink（偏实时）等

离线数仓
多数为离线数仓

实时数仓

对于hdfs来说：

NameNode 名称节点 老大 存储文件目录树SecondaryNameNode 第二节点 老二 每隔一小时把老大备份DataNode 数据节点 小弟 存放数据 2.前期准备

创建用户
useradd
passwd

修改主机名
hostnamectl set-hostname

在用户文件夹下创建 sourcecode software app log lib data tmp shell文件夹
mkdir sourcecode software app log lib data tmp shell

解压java文件以及hadoop文件到app文件夹内
tar -xzvf hadoop-3.1.3.tar.gz -C ../app/
tar -xzvf jdk-8u212-linux-x64.tar.gz -C ../app/

为java以及hadoop创建软链接
ln -s hadoop-3.1.3/ hadoop
ln -s jdk-8u212/ java
软链接 版本切换无感知

配置java以及hadoop全局变量
vim /etc/profile
export HADOOP_HOME=/home/zhangyujie/app/hadoop
export JAVA_HOME=/home/zhangyujie/app/java
export PATH=$PATH:$JAVA_HOME/bin

tmp文件夹为临时文件夹，30天不访问会按一定规则删除文件

常用

jps查看启动的东西
ps -ef | grep [端口号]

Hadoop3 默认端口为9870
Hadoop2 默认端口为50070

对于HDFS来说：

阿里云（服务器）开22端口和9870端口

配置core-site.xml

进入文件

vim core-site.xml

添加配置信息并将原本放在/tmp下的文件移入用户的tmp文件夹下

    
        fs.defaultFS
        hdfs://zhangyujie:9000
    
    
    	hadoop.tmp.dir
    	/home/zhangyujie/tmp 	
    

配置hdfs-site.xml文件

vim hdfs-site.xml

添加配置信息

    
        dfs.replication
        1
    
    
            dfs.namenode.secondary.http-address
            zhangyujie:50090
    
    
            dfs.namenode.secondary.https-address
            zhangyujie:50091
    

修改内容为机器名

vim workers

ssh localhost

如果提示不行输入，输入以下命令

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

hdfs namenode -format

可能会报错，不要慌
根据报错提示的错误信息去查看错在哪里并作出修改

start-dfs.sh

jps查看并完成官方例子
官方例子只需根据官方教程一步一步来即可这里不作过多说明