hadoop+hbase安装

实验步骤实现步骤

先看注意点和参考。

安装Linux系统
安装Hadoop
安装hbase
安装zookeeper
启动集群

安装Linux系统

有如下几种方式

安装虚拟机
安装双系统
使用服务器
docker容器

这里介绍一下虚拟机方式

预先下载vware软件

Ubuntu20.04镜像文件,

文件->新建虚拟机->自定义->下一步
选择Linux 和Ubuntu,选择好要安装的位置,配置自己设置,然后一直下一步如下,点击自定义硬件

选择刚刚下载的映像文件

按照提示界面自主安装

下载一些必要的软件

vim或者其他编辑器软件
```
sudo apt install vim
```
apt换源

安装jdk

sudo apt install update
sudo apt install openjdk-8-jdk -y

ssh

su hadoop
ssh-keygen -t rsa 
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
chmod 640 ~/.ssh/authorized_keys 
ssh localhost

安装Hadoop

Hadoop有三种安装方式

单机:下载就可以用了,用于测试mp等等…
伪分布:用一台机器模拟集群
分布式:顾名思义

下载Hadoop

wget https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz 

#解压
tar -zxf hadoop-3.2.2.tar.gz -C /usr/local/

#重命名
mv /usr/local/hadoop-3.2.2/ /usr/local/hadoop
# 添加权限,
chown -R 777 /usr/local/hadoop/

下载后会得到一个压缩文件

配置伪分布配置路径

vim ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

# 退出后保存
#生效
source ~/.bashrc

修改配置信息

cd /usr/local/hadoop/etc/hadoop
vim core-site.xml
vim hdfs.xml


        
                hadoop.tmp.dir
                file:/usr/local/hadoop/tmp
        
        
                fs.defaultFS>
                hdfs://localhost:9000
        



	
		dfs.replication
		1
	
	
		dfs.namenode.name.dir
		file:/usr/local/hadoop/tmp/dfs/name
	
	
		dfs.datanode.data.dir
		file:/usr/local/hadoop/tmp/dfs/data

启动Hadoop

格式namenode 会生成一些基本的信息

cd /usr/local/hadoop/bin
hdfs namenode -format

启动Hadoop
```
cd /usr/local/hadoop/sbin
./start-dfs.sh
```
启动成功后应该看到如下的图

hbase安装下载解压hbase

wget https://mirrors.cnnic.cn/apache/hbase/2.3.6/hbase-2.3.6-bin.tar.gz
tar -zxf hbase-2.3.6-bin.tar.gz -C /usr/local
mv /usr/local/hbase-2.3.6/ hbase

配置hbase

#在bashrc中添加bin的路径，也可以不加
export path=....<:/usr/local/hbase/bin>

# 修改权限,为了简单起见
chmod -R 777 /usr/local/hbase

配置hbase-env.sh.

cd /usr/local/hbase/conf
vim hbase-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export Hbase_CLASSPATH=/usr/local/hbase/conf
export Hbase_MANAGES_ZK=false #这里和书上不同设置为false我们自己下载zookeeper进行守护

配置hbase-site.xml

  
    hbase.cluster.distributed
    true //这里设置分布
  
  
    hbase.tmp.dir
    ./tmp
  
  
    hbase.unsafe.stream.capability.enforce
    false
  
  
          hbase.rootdir
          hdfs://localhost:9000/hbase

##　下载zookeeper

wget https://mirrors.cnnic.cn/apache/zookeeper/stable/apache-zookeeper-3.6.3-bin.tar.gz

tar -zxf apache-zookeeper-3.6.3-bin.tar.gz -C /usr/local

mv /usr/local/apache-zookeeper-3.6.3-bin.tar.gz/ /usr/local/zookeeper

配置zookeeper

cp zoo_sample.cfg zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper
clientPort=2181#默认端口,如果有冲突可以改,但是hbase也得修改

cd zookeeper/bin #目录下
./zkServer.sh start

全部启动后如下所示

注意点

上述描述了大致的操作过程，可以参考书也可以参考这篇文章，没有全部描述过程但是殊途同归，在安装的时候或多或少会出现一些错误需要注意

善于使用log查看错误

cat ../logs/hadoop-hadoop-namenode-VM-4-6-ubuntu.log

善于使用搜索引擎 Google=bing > 百度有助于提高效率，同时，StackOverflow>csdn
需要虚拟机配置分配的稍微大一点，我的虚拟机配置内存6G，处理器2核。我在腾讯的1核内存2G的轻量服务器上配置，启动就几乎占满了空间。

参考

书本
Hadoop安装Ubuntu20.04
Hadoop+hbase+zookeeper伪分布安装（这篇文章是我之前写的，或许会有点出入）

1核内存2G的轻量服务器上配置，启动就几乎占满了空间。

[外链图片转存中…(img-PyZigcID-1634369802047)]

参考

书本
Hadoop安装Ubuntu20.04
Hadoop+hbase+zookeeper伪分布安装（这篇文章是我之前写的，或许会有点出入）

hadoop+hbase安装

Linux相关栏目本月热门文章