栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hive系统配置及数据导入--【导入csv文件】

Hive系统配置及数据导入--【导入csv文件】

1、安装Hadoop环境、并安装Hive。
(1)方法一(使用官方教程安装)
①按照之前的课程或者官方文档安装Hadoop环境(单节点)
https://hadoop.apache.org/docs/r2.10.1/hadoop-project-dist/hadoop-common/SingleCluster.html

②按照官方文档安装Hive2
https://cwiki.apache.org/confluence/display/Hive/GettingStarted

(2)方法二(使用已有的Hive的Docker镜像)
①访问https://github.com/big-data-europe/docker-hive

②使用git命令克隆项目到docker-compose环境下,里面包含Dockerfile及docker-compose.yml等文件。
可以使用pycharm运行该命令

git clone https://github.com/big-data-europe/docker-hive.git


③使用docker-compose后台启动Hive服务

docker-compose up -d


2、在Hive中导入实验数据。
①如果是虚拟机环境,使用ftp工具,将1.csv文件传输至虚拟机某文件夹。
②如果是Docker容器环境,使用docker cp命令将1.csv文件复制到Hive容器中。重开一个窗口,进入docker-hive 【该命令可以导入本地文件或虚拟机文件】

 docker cp xxxx/1.csv docker-hive_hive-server_1:/opt



③使用docker-compose进入Hive容器

docker-compose exec hive-server bash


④进入容器后,使用Hive客户端工具beeline访问Hive

/opt/hive/bin/beeline -u jdbc:hive2://localhost:10000


⑤在Hive里创建表,输入如下命令

create table flow(record int,download int,staytime int,country string,region string,city string,visitdate string,pv int,province string,category string,uv int,ev int,page string) row format delimited fields terminated by ',' stored as textfile;


⑥在Hive里导入数据

load data local inpath '/opt/1.csv' into table flow;

⑦查询数据是否导入成功

select * from flow limit 10;

结果图:(如使用Docker容器方式使用Hive,查询结果乱码,可忽略该问题)

3、参考资料:
1.Hadoop(单节点安装)官方文档
https://hadoop.apache.org/docs/r2.10.1/hadoop-project-dist/hadoop-common/SingleCluster.html

2.Hive官方安装教程https://cwiki.apache.org/confluence/display/Hive/GettingStarted

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/342475.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号