
学习致谢 https://www.bilibili.com/video/BV1Xz4y1m7cv?p=70 Source分类 https://spark.apache.org/docs/latest/structured....
Spark-Core 介绍 计算引擎,类似MapReduce,将数据存放在内存中,减少磁盘IO,他是有scala编写的 总体技术栈讲解 Spark Str....
伴随着实体行业的数字化转型,以及网民数量、物流快递行业的快速增长,电商平台之间的竞争也日趋增大。如今,电商行业已然进....
hive Hive是基于Hadoop的应用程序,受限于Hadoop 的设计,Hive不能提供完整的数据库功能。最大的限制就是Hive不支持行级别的....
背景 最近接到一个需求,算是一个比较常见的需求,我们公司的业务会涉及到直播,因此直播自然避免不了高并发的房间内发消息....
Spark Sql的Join和关系型数据库Sql的Join有很多相同点,比如inner join、left join、right join、full join,这是二者都有的....
CLICKHOUSE几个常见问题处理-持续更新 删除旧集群表后重建,5分钟左右出现zk中该表的配置文件消失的情况如何处理socket_time....
背景 前段时间看了字节跳动内部技术沙龙分享,利用kafka engine构造的实时数据架构。故利用现有的资源,整起来。 实践过程 k....
12月7日,2021“光明奖”颁奖盛典暨全球智能照明生态峰会在佛山南海盛大举办,鸿雁电器荣膺照明灯饰行业“十大年度品牌”“....
STIF2021国际科创节暨DSC2021数字服务大会(数服会)于12月7日-8日在天津举行,主题为:数智引领未来。在经历了参赛作品征集....
1、通过xshell上传jdk包 2、解压jdk包,并放置指定路径下 tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/src/ 3....
在这里插入图片描述 大数据时代的数据存在如下几个特点:多源异构、分布广泛、动态增长、先有数据后有模式。 正是这些与传统....
1、需求:动态监控mysql中gmall2数据库的order_info数据表,将变化的信息转成json字符串存储到kafka中,具体实现如下: Cana....
namenode作为hdfs中的元数据的管理模块,免不了会提到元数据包括哪些?在内存中又是如何存储管理的,本文就来聊聊nn内存中的....
买入 美力转债 50张 成本均价137.928 买入 思特转债 50张 成本均价147.445 总权益:1000384(华海转债+41.69;思特转债-44.2....
问题:哪些公司在为制造业企业提供智能工厂解决方案? 回答:该问题,我准备从以下4个方面来回答。希望对大家有所帮助!一、....
我们在学习大数据时避免不了地是要花大量的时间去搭建大数据环境,配置各种另人眼花缭乱的配置文件 各种大数据组件:hdfs、y....
本地方法发送消息至borkerborker 执行TransactionListener的方法。执行本地事务executeLocalTransaction如果返回unkow状态,....
12月8日,由慧聪物联网、慧聪电子网联合主办的2021(第十八届)中国物联网产业大会暨品牌盛会在深圳举行。本届物联网产业大....
1. 安装curator工具 下面是我离线安装的过程 https://blog.csdn.net/weixin_43736084/article/details/121775484?spm=1001.2....