栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hive基础

hive基础

        Hive 可以将存储在 HDFS 中的结构化数据映射为数据库中的一张表,并提供了一种 SQL 方言对其进行查询。 这些SQL语句最终会翻译成MapReduce程序执行。Hive的本质就是为了 简化 用户编写MapReduce程序而生成的一种框架。它本身并不会存储和计算数据,完全依赖于HDFS和MapReduce。

安装 Hive 的主要步骤:

  1. 安装 Hadoop 版本:2.7.7
  2. 安装 MySQL(metaStore) 版本:5.7
  3. 安装 Hive 版本:2.3.7
  4. 安装 DBeaver(客户端) 版本:7.1.0

检查Hadoop环境

  • 查看 Hadoop 版本号
  •  启动 Hadoop,检查进程是否正确
  • 安装MySQL,使用以下命令:
  • sudo apt-get install mysql-server
  • 查看默认的账号和密码,使用以下命令:
  • sudo cat /etc/mysql/debian.cnf
  •  使用管理员登录 MySQL,使用以下命令:
  • mysql -u debian-sys-maint –p
  • 创建 hive 用户,并设置密码,使用以下命令:
  • CREATE USER 'hive'@'%' IDENTIFIED BY '123456';
  • 授予 hive 用户权限,使用以下命令:
  • GRANT ALL PRIVILEGES ON hive.* TO 'hive‘@‘%’; FLUSH PRIVILEGES;
  • 退出 MySQL,使用以下命令:
  • exit
  • 上传 Hive 到 /home/Hadoop
  • 解压 Hive 到 /usr/local 目录中,使用以下命令:
  • sudo tar -xvf apache-hive-2.3.7-bin.tar.gz -C /usr/local
  • 进入/usr/local目录,使用以下命令:
  • cd /usr/local
  • 将解压后的目录重命名为 hive,使用以下命令:
  • sudo mv apache-hive-2.3.7-bin hive
  • 修改 hive 目录的拥有者为 hadoop,使用以下命令:
  • sudo chown -R hadoop hiv
  • 进入 hive 配置文件目录,使用以下命令:
  • cd /usr/local/hive/conf/
  • 创建 hive-site.xml 文件,使用以下命令:
  • vim hive-site.xml
  • 进入 hive 的依赖库目录,使用以下命令:
  • cd /usr/local/hive/lib
  • 上传mysql的驱动文件到lib目录 驱动文件是:
  • mysql-connector-java-5.1.47.jar
  • 进入hadoop软件的配置文件目录,使用以下命令:
  • cd /usr/local/hadoop/etc/hadoop/
  • 编辑core-site.xml文件,增加以下内容:
  •   
  •          hadoop.proxyuser.hadoop.groups  
  •            *
  •   
  •          hadoop.proxyuser.hadoop.hosts   
  •           *
  • 进入hadoop用户的家目录,使用以下命令:
  • cd ~
  • 编辑环境变量文件,使用以下命令:
  • vim .bashrc
  • 在环境变量文件最后添加以下内容:
  • export HADOOP_HOME=/usr/local/hadoop
  • export HIVE_HOME=/usr/local/hive
  • export
  • PATH=${HIVE_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
  • 刷新环境变量,使用以下命令:
  • source .bashrc
  • 初始化Hive,使用以下命令:
  • schematool -dbType mysql -initSchema
  • 查询 Hive 中的默认数据库列表,使用以下命令:
  • hive -e 'show databases'
安装 DBreaver
  • 1、启动Hive服务器,使用以下命令:
  • Hiveserver2
  • 2、安装并启动DBeaver 

        1. 解压下载的DBeaver压缩包

        2. 双击DBeaver.exe启动程序

 3、新建Hive链接配置

        1. 点击工具栏的数据库

        2. 选择新建链接

        3. 在链接中搜索hive

        4. 选择hive链接类型:

 4、配置Hive链接信息

        1. 主机填写Linux服务器的ip

        2. 填写Linux的帐号和密码

 5、安装Hive驱动

        1. 点击编辑驱动设置

        2. 下载/更新驱动

 6、链接Hive驱动

        1. 配置完成后毕后一次点击确定和完成

        2. 自动链接Hive

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/582906.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号