大数据系统知识_大数据系统学习笔记

Timer（定时器）是 Flink Streaming API 提供的用于感知并利用 Processing Time/Event Time 变化的机制。Ververica blog上给....

一、rqalpha简介 rqalpha是米筐量化开源的从数据获取、算法交易、回测引擎、实盘模拟、实盘交易到数据分析的程序化交易框架....

没错这又是一次血案，不过是在测试环境发现的，还好不是上次线上导致的CPU300%，这次及时发现，避免了线上血案，不过我还是....

/*mapPartitions 和map算子是一样的,只不过map是针对每一条数据进行转换,mapPartitions 针对一整个分区的数据进行转换 1.map....

scp -r拷贝jdk、hadoop 1.hadoop1002进入/opt/module/目录下 [admin@hadoop1002 hadoop-3.1.3]$ cd /opt/module/ 2.在hadoop....

文章目录 功能需求1.导入依赖和配置1.导入依赖2. 配置Kafka修改consumer配置文件spring中配置服务连接端口与consumer 3....

文章目录 批量发送消息SpringBoot整合RocketMQ，集群、广播消息发送普通消息消费者消费者1 consumer-group-1 （集群）消费者....

小伙伴们，你们好，我是老寇 目录 一、前提条件 二、安装过程 一、前提条件 192.168.1.1 (安装kafka，点点我) 192.168.1....

说明 本文只为说明功能，除十二节外，案例数据并不连贯。 一、 HIVE是什么 HIVE是基于Hadoop的一个数据仓库工具，它是一个可....

当我们想要查看hadoop的日志文件时点击logs 出现这种情况，翻译下来就是：未启用聚合。在 hadoop104：33157 上试用节点管理....

1.1、Kafka定义 kafka传统定义： kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时....

1.自我供述         哈罗大家好，我是涤生哥。蓦然回首做了很多年大数据，也经历了一线大厂，中型公司。从毕业一个J....

文章目录 消息队列应用场景rocketmq为什么选择RocketMQ消息队列RocketMQ所拥有的功能rocketmq应用场景应用解耦流量削峰数据....

文章目录 伪分布式配置 创建hadoop用户 更新apt 安装SSH、配置SSH无密码登陆 安装Java环境 安装 Had....

（1）在起始的/opt 目录下建立software文件和module文件，software文件用来下载安装包，下载后的安装包·可以·解压到module....

小伙伴们，你们好，我是老寇 目录 一、下载文件 二、解压文件 三、移动文件到/usr/local 四、创建文件夹并授权 五、修....

非HA模式下的Apache Yarn在重启以后,8088端口默认是看不到之前运行过的历史任务的,如果想要看到历史任务,只需要在yarn-site.....

rmr / rmr +zookeeper根目录下文件路径。

RabbitMQ 一、消息队列1.1 MQ相关概念1.1.1 什么是MQ？1.1.2 为啥要用MQ？流量消峰应用解耦异步处理 1.1.3 MQ的分类Activ....

目录 1.写在前面 2.Maven依赖 3.代码实现 3.1 自定义反序列化器 CustomerDeserialization 3.2 主函数 FlinkCDCWithCustomerD....