栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hive架构原理

Hive架构原理

Hive架构原理
  • Hive是一个基于MapReduce的海量数据处理、分析工具,为我们利用Hadoop平台处理数据提供了一个简易途径
  • 我们利用MapReduce对数据所做的事大部分与关系型数据库中的SQL语句所做的相同。Hive可以让我们用SQL的方式描述对数据如何处理,并解析SQL语句、转化成MapReduce job链、自动执行job链输出结果
  • Hive严重依赖Hadoop,它所处理的数据必须放在HDFS中,所以HDFS的缺点会影响对Hive所实现功能的取舍
  • 为了让用户以关系型数据库方式查询和计算数据,Hive提供了表结构管理服务
  • Hive支持的基本数据类型与其他数据库差不多。Hive会在数据文件之外独立地保存其表结构以及表的其他属性(这些叫做元数据meta),这就是表结构管理服务所提供的,这个服务的名字叫做metaStore(元数据存储)
  • 通过Hive处理文件中的数据时需要先创建表,并将表语文件关联(当然要保证表的结构与文件中的数据是一致的,否则就会出错),然后就可以用SQL进行数据查询了
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/671169.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号