栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

HBase分布式集群搭建

HBase分布式集群搭建

包下载地址

1、将集群中的所有节点的hosts文件配置完成

2、将集群中的所有节点的防火墙关闭

3、将集群中的所有节点的时间设置一致

yum install ntpdate
ntpdate ntp1.aliyun.com

4、将所有的节点设置免密钥登陆

hdfs搭建已完成的操作,如果没有参考如下

# 安装jdk

# 各主机秘钥互通
  在node01上生成一份秘钥
  ssh-keygen -t rsa -b 4096 -C "bigdata ssh" -f /home/god/.ssh/id_rsa -q 
  自己给自己发公钥 ssh-copy-id node01

  # 重点来了
  authorized_keys不用变
  cd ~/.ssh
  private_host=`cat known_hosts |awk -F ' ' '{print $2,$NF}'`
  for i in {2..5};do echo "node0${i},192.168.7.1${i} ${private_host}" >> known_hosts ;done

  scp -Crp .ssh node02:~/
  scp -Crp .ssh node03:~/
  scp -Crp .ssh node04:~/
  scp -Crp .ssh node05:~/
  # 这样5台主机就可以互通了哈哈

# 每个主机配置host解析
echo "
192.168.7.11 node01
192.168.7.12 node02
192.168.7.13 node03
192.168.7.14 node04
192.168.7.15 node05
" >> /etc/hosts

# 给god用户授权目录
chown -R god:god /opt/
chown -R god:god /data/

5、 解压hbase安装包
tar xzvf hbase-2.3.7-bin.tar.gz -C /opt/bigdata
cd hbase-2.3.7/
rm -rf docs

6、在/etc/profile文件中配置Hbase的环境变量

# hbase配置
export Hbase_HOME=/opt/bigdata/hbase/hbase-2.3.7
export PATH=$PATH:$Hbase_HOME/bin

7、配置文件

hbase-env.sh

source /etc/profile
cd $Hbase_HOME/conf

设置JAVA的环境变量
JAVA_HOME=/usr/java/default
设置是否使用自己的zookeeper实例
Hbase_MANAGES_ZK=false


sed -i '/JAVA_HOME/cexport JAVA_HOME=/usr/java/default' hbase-env.sh
sed -i '/Hbase_MANAGES_ZK/cexport Hbase_MANAGES_ZK=false' hbase-env.sh

hbase-site.xml




    
        hbase.rootdir
        hdfs://mycluster/hbase
    
    
        hbase.cluster.distributed
        true
    
    
        hbase.zookeeper.quorum
        node02,node03,node04
    
    
    
        hbase.server.thread.wakefrequency
        10000
    
    
        hbase.server.compactchecker.interval.multiplier
        1000
    

9、修改regionservers文件,设置regionserver分布在哪几台节点

cat > regionservers <<-EOF
node02
node03
node04
node05
EOF

10、配置Master的高可用,需要在conf目录下创建backup-masters文件

cat > backup-masters <<-EOF
node03
node04
EOF

11、拷贝hdfs-site.xml文件到conf目录下

cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml $Hbase_HOME/conf

12、 分发包

cd /opt/bigdata
for i in {2..5};do scp -rp hbase node0${i}:`pwd` ;done

cd /etc
for i in {2..5};do scp profile node0$i:`pwd`;done

13、启动hbase集群

hdfs dfs -rm -r -f /hbase

在主控节点node01
start-hbase.sh

查看状态
http://node01:16010/master-status
http://node04:16010/master-status

可以有多个master备份
[god@node03 ~]$ hbase-daemon.sh start master

在任一台机器进入hbase命令行
hbase shell
list
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/758400.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号