栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

04-Spark入门

04-Spark入门

04-Spark入门 1.目标

只要学不死,就往死里学

2.spark概述 2.1.什么是spark

spark是基于内存的快速、通用、可扩展的大数据分析计算引擎。它的计算速度非常快。但是仅仅只涉及到数据的计算,并没有涉及到数据的存储。

2.2.为什么要学习spark

运行速度比mapred
uce快很多

2.3.spark特点

速度快(比mapreduce在内存中快100倍,在磁盘中快10倍)

spark中的job中间结果可以不落地,可以存放在内存中。 mapreduce中map和reduce任务都是以进程的方式运行着,而spark中的job是以线程方式运行在进程中

易用性(可以通过java/scala/python/R开发spark应用程序)

通用性(可以使用spark sql/spark streaming/MLlib/G

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/752281.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号