栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hive复杂的数据结构

Hive复杂的数据结构

hive 动态查看监控日志(另开一个界面)
cd /tmp/dialect/
tail -f hive.log
hive中复杂的数据结构

1) 案例实操
(1) 假设某表有如下一行, 我们用 JSON 格式来表示其数据结构。在 Hive 下访问的格
式为
{
“name”: “songsong”,
“friends”: [“bingbing” , “lili”] , //列表 Array,
“children”: { //键值 Map,
“xiao song”: 18 ,
“xiaoxiao song”: 19
}
“address”: { //结构 Struct,
“street”: “hui long guan”,
“city”: “beijing”
}
}
(2) 基于上述数据结构, 我们在 Hive 里创建对应的表, 并导入数据。
创建本地测试文件 test.txt
songsong,bingbing_lili,xiao song:18_xiaoxiao song:19,hui long
guan_beijing
yangyang,caicai_susu,xiao yang:18_xiaoxiao yang:19,chao yang_beijing
注意: MAP, STRUCT 和 ARRAY 里的元素间关系都可以用同一个字符表示, 这里用“”。
(3) Hive 上创建测试表 test
create table test(
name string,
friends array,
children map,
address struct
)
row format delimited fields terminated by ‘,’
collection items terminated by '

map keys terminated by ‘:’
lines terminated by ‘n’;
字段解释:
row format delimited fields terminated by ‘,’ – 列分隔符
collection items terminated by ‘_’ --MAP STRUCT 和 ARRAY 的分隔符(数据分割符号)
map keys terminated by ‘:’ – MAP 中的 key 与 value 的分隔符
lines terminated by ‘n’; – 行分隔符
(4) 导入文本数据到测试表
load data local inpath ‘/opt/module/hive/datas/test.txt’ into table test;

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/762094.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号