栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

spark

spark

spark sql 的特点

易集成
spark sql与spark程序无缝链接在一起,使得spark sql可以使用sql或Dataframe API在spark应用程序中处理结构化数据。语言支持方面spark sql 支持python、java、R、scala等语言。同一的数据访问
spark sql 提供了一种访问各种数据源的通用方式。
数据源包含hive,avro,parquet,orc,json,jdbc等。
spark sql使用相同的方法链接数据,甚至跨源关联数据。兼容hive
spark sql支持在hive上运行sql或者hivesql进行查询。标准的数据链接
spark sql可以通过行业标准的JDBC或ODBC链接关系型数据 spark sql 的用途

根据基本的sql语句进行数据查询。根据hiveSql语句进行查询在hive、hbase、hdfs中读取数据通过jdbc从关系型数据库中读取数据从已存在的文件中读取数据 使用场景

需要处理结构化数据的场景需要查询各种数据源的场景需要兼容sql99,hivesql的场景对数据处理的实时性要求不高的场景处理PB级的大容量数据的场景注意:spark sql 不适用与实时,交互式数据查询业务

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/711774.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号