栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 系统运维 > 运维 > Linux

【阿尼亚喜欢BigData】“红亚杯”数据分析进阶—使用Python操作Hive专题赛——满分解析②

Linux 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

【阿尼亚喜欢BigData】“红亚杯”数据分析进阶—使用Python操作Hive专题赛——满分解析②

大家好,喜欢Bigdata的阿尼亚来了!希望大家会喜欢阿尼亚的文章!!哇酷哇酷!!!

本次为师傅们带来的是“红亚杯”数据分析进阶—使用Python操作Hive专题赛——满分解析系列的第②期,是“配置Hive并开启相关服务”篇章哦!

第①期完整赛题的链接在下面,师傅们想看完整赛题的请安心享用:

【阿尼亚喜欢BigData】“红亚杯”数据分析进阶—使用Python操作Hive专题赛——满分解析①_爱波吉的阿尼亚的博客-CSDN博客

目录

        配置Hive并开启相关服务(40.00 / 40分)

                配置Hadoop代理(8.00 / 8分)

                配置Hiveserver2服务信息(8.00 / 8分)

                开启相关服务(24.00 / 24分)


配置Hive并开启相关服务(40.00 / 40分)

配置Hadoop代理(8.00 / 8分)

对应文件路径:/root/software/hadoop-2.7.7/etc/hadoop/core-site.xml

考核条件如下:

1.修改core-site.xml,配置root用户可以在任何主机中执行代理

操作环境: python-hive

vim /root/software/hadoop-2.7.7/etc/hadoop/core-site.xml    #修改对应配置文件
#添加以下内容

 
 
  hadoop.proxyuser.root.hosts
  *
 
 
  hadoop.proxyuser.root.groups
  *
 
 
  hadoop.proxyuser.hive.hosts
  *
 
 ……………………………

 2.修改core-site.xml,配置root用户可以在代理任意任务组的用户

操作环境: python-hive

vim /root/software/hadoop-2.7.7/etc/hadoop/core-site.xml    #修改对应配置文件
#添加以下内容

 ……………………………
 
  hadoop.proxyuser.hive.groups
  *
 

配置Hiveserver2服务信息(8.00 / 8分)

文件路径为:/root/software/apache-hive-2.3.4-bin/conf/hive-site.xml

考核条件如下:

1.设置TCP的监听端口为10000

操作环境: python-hive

vim /root/software/apache-hive-2.3.4-bin/conf/hive-site.xml    #修改对应配置文件
#添加以下内容

 
  hive.metastore.schema.verification
  false
 
 
  hive.cli.print.current.db
  true
 
 
  hive.cli.print.header
  true
 
 
 
  hive.server2.thrift.port
  10000
 
 ……………………………

2.设置TCP绑定的主机为localhost

操作环境: python-hive

vim /root/software/apache-hive-2.3.4-bin/conf/hive-site.xml    #修改对应配置文件
#添加以下内容

 ……………………………
 
  hive.server2.thrift.bind.host
  localhost
 

开启相关服务(24.00 / 24分)

本次使用环境为单节点集群,对应主机名为Hadoop,使用工具连接对应主机并进行相关操作。

考核条件如下:

1.修改云主机host文件,添加内网IP,对应映射名为hadoop000,实现云主机自身使用root用户ssh访问hadoop000免密登陆

操作环境: python-hive

vim /etc/hosts                      #修改对应配置文件

#添加以下内容
hadoop000_IP hadoop000

ssh hadoop000                       #ssh免密登录

exit                                #退出ssh免密登录

2.格式化HDFS文件系统

操作环境: python-hive

hadoop namenode -format             #格式化Hadoop集群

3.启动Hadoop集群

操作环境: python-hive

start-all.sh                        #启动Hadoop集群

4.开启mysql服务,并初始化数据库

操作环境: python-hive

systemctl start mysqld.service              #开启mysql服务

schematool -dbType mysql -initSchema        #格式化Hive元数据库

5.开启hiveserver2服务,查看端口是否正常开启

操作环境: python-hive

hive --service hiveserver2          #开启hiveserver2服务

6.查看hiveserver2对应的UI界面是否正常打开

操作环境: python-hive

http://hadoop000_IP:10000/

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/962890.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号