大数据系统知识_大数据系统学习笔记

kafka高级特性及常见问题调优 一、kafka高级特性1.1 producer发布消息机制1.2 Controller及partition选举机制1.2.1 Controll....

Yarn常用命令：         1.  列出所有Application：                         yarn appl....

docker-compose中的配置命令很多都是Dockerfile中的命令，不过需要遵循yml的文件格式。下面讲解yml配置是针对单服务器的容器....

一、为什么Python中整型不会溢出 在python2时代，整型有 int 类型和 long 长整型，长整型不存在溢出问题，即可以存放任意大....

Nuget 安装包 Hadoop.WebHdfs.Client 以下代码仅仅在 dfs.permissions.enabled = false 的情况下做了简单测试，仅作为备忘....

主题（topic）交换机：该交换机可以更好的以基于多个标准的路由发消息给指定队列。 其路由规则为：routingkey必须为单词列表....

死信：由于某些原因导致队列中的消息无法被消费者消费，消息就会成为死信。 死信来源：消息ttl过期、消息被拒绝·，队列已达....

TAILDIR-KAFKA a1.sources = r1 a1.channels = c1 c2 a1.sources.r1.type = TAILDIR a1.sources.r1.filegroups = f1 a1.sources.

一、MapReduce工作原理 1.MapTask阶段 1）准备一个200M的文件，submit中对该数据进行切片。2）客户端向Yarn提交信息(job.sp....

一、准备工作 1.上传新的tez，hive，安装包到/opt/software目录下 tez-0.10.1-SNAPSHOT-minimal.tar.gztez-0.10.1-SNAPSHOT.....

文章目录 一、前言二、kafka的offset存储演变三、kafka的持久化3.1 kafka读写操作3.2 kafka中的Segment段 四、kafka集群top....

package com.atguigu.hdfs;import org.apache.hadoop.conf.Configur

报告类型：产业研究 报告格式：电子版、纸介版 出品单位：智研咨询-产业信息网     智研咨询发布的《2022-2028年中国风电....

Flink的RPC实现：是基于Scala的网络编程库Akka来的。 Akka的特点 它是对并发模型进行了更高的抽象它是异步、非阻塞、高性能....

RabbitMQ的基本配置就不写了，网上有很多。 可以看下这位博主写的，很详细： https://blog.csdn.net/qq_39915083/article/de....

MySQL object streaming_mysql { def main(args: Array[String]): Unit = { //初始化spark配置信息 val conf = new S....

目录 一、在三台虚拟机上面安装lrzsz 二、在三台虚拟机上安装配置jdk 三.配置完全分布模式Hadoop 配置文件 - hdfs-site.xml ....

https://www.zhihu.com/people/bigdata-qingniu/zvideos?page=3 1.FlinkKafkaConsumer容错 flink读取kafka如何保存offset? ....

一.项目介绍 相关术语：风险：不确定性。寿险和非寿险（财产，责任，健康，意外）。精算师。投保人：申购或缴费保险的人。被....

【智能制造】-卓越供应链指标体系 一、背景二、指标体系三、指标口径L1-1需求计划预测准确率L1-2需求计划预测准确率L1-3交付....