栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Ubuntu20.04安装Hbase、Hadoop、SSH

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Ubuntu20.04安装Hbase、Hadoop、SSH

目录

一、安装SSH

1、更新apt

2、配置SSH无密码登陆

设置无密码登陆

再登陆(此时已是无密码登陆)

二、安装Java环境

1、创建jdk目录

解压

添加环境变量

查看Java环境是否搭建成功

三、SSH多节点配置

1、实现主机映射

2、SSH无密码登陆(这里设置的是被连主机)

3、SSH登陆其他主机

验证

 4、节点传送

5、将公钥加入授权(在被加入的虚拟机下添加授权)

五、Hadoop安装

1、查看hadoop是否可用

2、配置hadoop-env.sh文件

 3、Hadoop单机配置(非分布式)

六、Habse安装

1、解压

2、配置环境变量

3、查看是否安装成功

 4、Hbase的配置(单机模式)

 5、试运行


学期结束,刚好整理这一学期在NoSQL数据库中的所学作一终结,也希望能够帮助步入学习NoSQL数据库的你。

本系列文章的编撰基于Ubuntu20.04版本。

本文参照厦门大学数据库实验室。

我们这里安装Habse的前置条件先将:Hadoop、Java环境、SSH安装好。

特别注意:Hadopp与Hbase之间存在版本关联,具体可见下方图片,来源官网。

当然,这里你可以直接使用我给到的版本:点击链接下载,提取码6666


一、安装SSH

1、更新apt
sudo apt-get update

2、配置SSH无密码登陆
sudo apt-get install openssh-server

 选Y。

安装完成后,可以无密码登陆。

ssh localhost

因为我这里已经安装了SSH,所以直接显示出系统的版本号以及登陆日期。

SSH首次登陆,此时会有提示选Y/N。输入yes,然后按提示输入密码p,这样就登陆到本机了

但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。

设置无密码登陆

先退出刚才登陆的SSH。

exit

开始操作。

cd ~/.ssh/                     # 若没有该目录,请先执行一次ssh localhost

ssh-keygen -t rsa              # 会有提示,都按回车就可以

cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

再登陆(此时已是无密码登陆)
ssh localhost

二、安装Java环境

1、创建jdk目录
mkdir opt/servers/hbase_demo/jdk

现在可将你在网盘下载的jdk安装包放入Ubuntu系统,使用sercet CRT(若没有此软件可直接将在Windows下载的压缩包拖拽至虚拟机下。) 将下载的jdk文件放到Ubuntu的桌面上显示(一定要知道它的位置,在下面tar命令解压时需要用到)。

解压
tar -zxvf jdk-8u331-linux-x64.tar.gz -C opt/servers/hbase_demo/jdk/
mv opt/servers/hbase_demo/jdk1.8.0_331 jdk

添加环境变量
vim ~/.bashrc

将以下内容放入:

# Java环境变量
export JAVA_HOME=opt/servers/hbase_demo/jdk/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

立即生效:source ~/.bashrc

查看Java环境是否搭建成功
java -version

 此时版本显示出来,说明安装成功。


三、SSH多节点配置

1、实现主机映射
sudo vim /etc/hosts

其他被连接主机同样需要设置。

 完成后,ping一下试试。

ping 主机名 -c 3

2、SSH无密码登陆(这里设置的是被连主机)

虽然前面已经设置过,但这里新加入了主机2及主机3,想要实现多台SSH连接,需要更新下密钥。

cd ~/.ssh #

# 删除之前生成的公匙(如果已经存在)

rm ./id_rsa*

执行该命令后,遇到提示信息,一直按回车就可以

ssh-keygen -t rsa

3、SSH登陆其他主机

验证

当前本机目录输入

cat ./id_rsa.pub >> ./authorized_keys
ssh 主机名

输入yes即可,测试成功后,请执行“exit”命令返回原来的终端。

 4、节点传送

在当前主机输入(中文部分修改成你自己的):

scp ~/.ssh/id_rsa.pub 被连主机系统名@被连主机名:/home/用户目录名(与被连主机系统名相同)/

表示完成:

5、将公钥加入授权(在被加入的虚拟机下添加授权)
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

rm ~/id_rsa.pub     # 用完以后就可以删掉

五、Hadoop安装
tar -zxvf hadoop-3.1.3.tar.gz -C opt/servers/
mv opt/servers/Hadoop/hadoop-3.3.2-src hadoop    # 这里使用你下载的hadoop版本呈现的文件名,我是用的是原先已经下载过的

1、查看hadoop是否可用
cd opt/servers/Hadoop/hadoop

./bin/hadoop version

若出现上图问题,则是Hadoop配置文件与本地jdk安装路径不相符。 

2、配置hadoop-env.sh文件
vim opt/servers/hadoop/etc/hadoop/hadoop-env.sh

按Esc进入命令界面:输入冒号后输入,/export JAVA_HOME

找到对应的

将jdk目录输入进去。

/home/系统名/opt/servers/hbase_demo/jdk/jdk

设置好后再尝试查看是否能出现Hadoop版本。

 3、Hadoop单机配置(非分布式)
cd opt/servers/hadoop

mkdir ./input

cp ./etc/hadoop/*.xml ./input

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep ./input ./output 'dfs[a-z.]+'

cat ./output/*

注意,Hadoop 默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将./output删除:rm -r ./output


六、Habse安装

回到根目录:cd ~

1、解压
tar -zxvf hbase-2.2.2-bin.tar.gz -C opt/servers/

cd opt/servers/

mv hbase-2.2.2 hbase

2、配置环境变量
vim ~/.bashrc

export PATH=$PATH:opt/servers/hbase/bin

source ~/.bashrc

3、查看是否安装成功

在根目录输入

opt/servers/hbase/bin/hbase version

 4、Hbase的配置(单机模式)
vim opt/servers/hbase/conf/hbase-env.sh

配置HBASE_MANAGES_ZK为true,表示由hbase自己管理zookeeper,不需要单独的zookeeper。hbase-env.sh中本来就存在这些变量的配置,大家只需要删除前面的#并修改配置内容即可(#代表注释) ---->来源厦门大学数据库实验室。

export JAVA_HOME=/home/系统名/opt/servers/hbase_demo/jdk/jdk
export HBASE_MANAGES_ZK=true
vim opt/servers/hbase/conf/hbase-site.xml

 在启动HBase前需要设置属性hbase.rootdir,用于指定HBase数据的存储位置,因为如果不设置的话,hbase.rootdir默认为/tmp/hbase-${user.name},这意味着每次重启系统都会丢失数据。此处设置为HBase安装目录下的hbase-tmp文件夹即(opt/servers/hbase/hbase-tmp),添加配置如下:



hbase.rootdir
file://opt/servers/hbase/hbase-tmp

 5、试运行
cd opt/servers/hbase
bin/start-hbase.sh

bin/hbase shell

停止服务命令:bin/stop-hbase.sh


以上是关于Ubuntu安装Hbase的操作流程,若你在操作过程中出现错误,可在评论区留言~

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/1010616.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号