栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

大数据apache-spark问题总结

大数据apache-spark问题总结

Spark四大特点

1-运行速度快:

方面一:spark是基于内存计算的,采用DAG有向无环图进行无环计算操作,中间计算的结果可以保存在内存中

方面二:spark是基于线程运行的,线程的启动和销毁速度要高于进程的效率的

2-易用性:

方面一:spark提供了多种语言客户端,可以运行多种语言操作,spark,比如Python SQL Java Scala R…

方面二:spark 提供了更多高阶的API, 而且这些API 在不同的语言上,基于都是一样的,大大的降低了程序员学习的难度。

3-通用性强:

spark提供了多种工具库,用于满足各种计算的场景

spark core :spark 的核心库,主要是放置spark 的核心的API ,内存管理的API,包括维护RDD的数据结构

spark SQL :通过SQL操作的spark 的计算框架

spark streaming :spark 的流处理,主要是用于支持流式计算(实时计算)

spark MLlib :spark 的机器学习库,主要包括主要算法库:回归,聚类…

spark graphx: spark 的图计算,比如行程规划

4-随处运行:

方面一:编写的spark 程序可以运行在不同的资源调度平台上:YARN,spark 集群,云上调度器

方面二:spark 程序可以和大数据生态圈中各种软件进行集成,让我们能够更加方面使用spark和相关软件

为什么spark的执行效率快

原因一:spark提供了一个全新的数据结构RDD

通过这个数据结构,让分布式执行引擎能够在内存中进行计算,同时能够更好完成迭代计算操作,对于MR 来说,主要是基于磁盘计算的 原因二:spark 是基于线程运行的,MR是基于进程运行的

线程的启动和销毁的速度要远远高于进程的启动和销毁

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/752841.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号