译者注：本文介绍了两大常用的流式处理框架，Spark Streaming和Kafka Stream，并对他们各自的特点做了详细说明，以帮助读者....
我是51CTO学院讲师张敏，在51CTO学院 “4.20 IT充电节”(4月19~20日) 到来之际，和大家分享一下Spark Core之上扩建自己的模....
最近因为手抖，在Spark中给自己挖了一个数据倾斜的坑。为了解决这个问题，顺便研究了下Spark分区器的原理，趁着周末加班总结....
0、背景集群部分 spark 任务执行很慢，且经常出错，参数改来改去怎么都无法优化其性能和解决频繁随机报错的问题。看了下任务....
在复杂业务逻辑中，我们经常会用到Spark的UDF，当一个UDF需要传入多列的内容并进行处理时，UDF的传参该怎么做呢? 下面通过....
Spark：Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的....
【51CTO.com原创稿件】2013 年，苏宁大数据团队以 Hadoop 生态系统为核心构建了整套大数据平台，为整个苏宁集团所有业务团队....
本文将简要介绍Spark机器学习库(Spark MLlib’s APIs)的各种机器学习算法，主要包括：统计算法、分类算法、聚类算法和协同....
RDD全称叫做弹性分布式数据集(Resilient Distributed Datasets)，它是一种分布式的内存抽象，表示一个只读的记录分区的集合....
前言最近工作中是做日志分析的平台，采用了sparkstreaming+kafka，采用kafka主要是看中了它对大数据量处理的高性能，处理日....
为了继续实现 Spark 更快，更轻松，更智能的目标，Spark 2.3 在许多模块都做了重要的更新，比如 Structured Streaming 引入....
Executor 端的内存模型,包括堆内内存(On-heap Memory)和堆外内存(Off-heap Memory)。存管理接口(MemoryManager )Spark 为Exe....
概 况Spark 是最活跃的 Apache 项目之一。从 2014 年左右开始得到广泛关注。Spark 的开源社区一度达到上千的活跃贡献者。最....
一、概述Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理....
一.内容简介spark从1.6开始引入了动态内存管理模式，即执行内存和存储内存之间可以互相抢占。spark提供两种内存分配模式：静....
Spark有几种资源调度设施。每个Spark Application(SparkContext实例)独立地运行在一组executor进程内。cluster manager为应....
BlazingSQL 是基于英伟达 RAPIDS 生态系统构建的 GPU 加速 SQL 引擎，可以为各种 ETL 大数据集提供 SQL 接口，并且完全运行....
内存不过是计算机分级存储系统中的靠近cpu的一个存储介质1.spark运行起来内存里都存的啥?2.如何管理里面所存的东西?3.spark....
内存不过是计算机分级存储系统中的靠近cpu的一个存储介质。 spark运行起来内存里都存的啥? 如何管理里面所存的东西? ....
在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。Spark的这种学....
名师互学网 版权所有 (c)2021-2022 ICP备案号：晋ICP备2021003244-6号
