栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop 大数据Hive仓库组件部署超详细

Hadoop 大数据Hive仓库组件部署超详细

1.数据仓库

1.1概念

构建面向分析的集成化数据环境

面向分析的存储数据

1.2主要特征

数据仓库是面向主题的集成的非易失的和时变的数据集合,用以支持管理决策

1.2.3 非易失性

开启三台虚拟机

上传压缩包到software

解压到src下

改名

修改环境变量

生效环境变量

查询卸载Maeidb文件包

上传MySQL安装包

安装MySQL软件包

修改my文件

注意错误  可能是my.cnf文件错误

开启mysql服务

查看mysql开启状态

查看mysql初始密码

cat /var/log/mysqld.log | grep password

重新设定密码和配置,登录

mysql_secure_installation

新密码:Password123$

登录:mysql -uroot -pPassword123$

新建hive用户元与数据

create database hive_db;

#新建 hive_db 数据库作为 Hive 的元数据存储地址。

create user hive identified by 'Password123$';

#创建 Hive 访问用户,用户名为 hive,密码为 hive。

grant all privileges on *.* to hive@'%' identified by 'Password123$' with grant option ;

grant all privileges on *.* to 'root'@'%'identified by 'Password123$' with grant option;

#grant 权限 1,权限 2,...权限 n on 数据库名称.表名称 to 用户名@用户地址。赋予 hive 用户对所有数据库所有表的所有权限且任何地址都能建立连接“%”,并具有授予权。

flush privileges

#刷新 MySQL 的系统权限相关表

赋予 hive 用户对所有数据库所有表的所有权限且任何地址都能建立连接“%”,并具有授予权。

改用户权限

配置 hive-site.xml

因为没有所以要复制

去conf下复制出hive-site.xml

cp /usr/local/src/hive/conf/hive-default.xml.template /usr/local/src/hive/conf/hive-site.xml

Vim hive-site.xml

连接 MySQL 的 hive 操作用户

连接 MySQL 的 hive 操作用户密码

配置数据库连接驱动

远程资源下载的临时目录

hive.exec.local.scratchdir

hive.querylog.location

hive.server2.logging.operation.log.location

hiveserver2 WebUI 页面访问地址

hiveserver2 WebUI 页面访问端口

配置hive-env.xml

cp /usr/local/src/hive/conf/hive-env.sh.template /usr/local/src/hive/conf/hive-env.sh

vi /usr/local/src/hive/conf/hive-env.sh

开启三台虚拟机节点  首先开启zookeeper节点  zkServer.sh start

master

Slave1

Slave2

开启namenode节点在hdfs上创建warehouse,并更改权限,在本地创建tmp文件夹

hadoop fs -mkdir -p /user/hive/warehouse

hadoop fs -chmod g+w /user/hive/warehouse

mkdir /usr/local/src/hive/tmp

将 Hive 连接 MySQL 的驱动器文件上传至 Hive 的 lib 文件夹下

初始化数据库

schematool -initSchema -dbType mysql

当显示 schemaTool completed 时,初始化成功

查看 MySQL 下 hive_db 数据库,发现多出许多个新表(55 个)

启动hive

打开 MySQL 数据库,使用配置过的 hive_db 数据库,hive 创建的表统一都在 hive_d b 数据库的 TBLS 表中。当创建表存在,既基于 MySQL 存储元数据的 Hive 组件搭建完毕。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/784077.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号