文章目录 前言一、什么是消息确认？二、如何进行消息可靠性投递？1. Producter->Exchange的可靠性投递2. Exchange->Queue的....
YARN主要由 ResourceManager、 NodeManager、 ApplicationMaster和 Container等组件构成。 YARN工作机制 （1）MR 程序提交到....
点击上方蓝字关注我们 面向大数据处理应用的广域存算协同调度系统 张晨浩1,2, 肖利民1,2, 秦广军3, 宋尧1,2, 蒋....
【软件工程实践】Hive研究-Blog5 2021SC@SDUSC 研究内容介绍 本人负责的是负责的是将查询块QB转换成逻辑查询计划（OP Tree）....
![[Kafka]消息超过最大值限制max.request.size](http://www.mshxw.com/aiimages/31/422578.png)
问题： 在抽取关系型数据库到kafka 中时，出现以下问题： max.request.size 生产者客户端能发送消息的最大值，默认值为1048....
创业的这段时间，我自己的精力聚集于产品研发相关的工作，业务这块儿由另一位合伙人负责。虽然工作的内部由“后台"（大数据....
首先谈谈大数据架构 五横： 数据采集层：既包括传统的ETL离线采集、也有实时采集、互联网爬虫解析等等。 数据处理层：根据数....
HBase的数据模型 Name Space 命名空间，类似于关系型数据库的 DatabBase 概念，每个命名空间下有多个表。HBase 有两个自带....
问题原因： hive 元数据库信息有问题。 解决方法： 重新初始化元数据库。 CDH集群初始化hive 元数据库 参考如下： https://b....
Spark SQL探索分析法律服务网站数据 课 程 设 计安装mysql数据库 安装路径：/usr/cstor/mysql 账号：root 密码：root 配置文....
DSL 全称 Domain Specific language ，即特定领域专用语言 查询集群健康情况 查询各个节点状态 查询各个索....
一、 而在订阅模型中，多了一个exchange角色，而且过程略有变化： P：生产者，也就是要发送消息的程序，但是不再发送到队列....
kafka的安装 1.将kafka压缩包上传的文件夹 2.解压kafka tar -xvf--------- [root@master software]$ mv /usr、soft....
rabbitmq 配置 containerFactory 属性 @RabbitListener(queues = "activity_queue" ,containerFactory = "simpleRabbitListe....
背景 工作中，要处理全角转半角的文本。但是hive 没有自带处理全角转半角的方法。 方案 只能手动写替换表达式实现。 全角....
Java操作elasticSearch索引保存数据 计划与实现： 存储一个新索引students，然后保存文档 借助Kibana: GET /students/_se....
三、HDFS的体系结构 HDFS是一个主从体系结构，由于分布式存储的性质，一个HDFS集群由一个NameNode和多个DataNode组成。NameN....
1，在搭建kafka集群之前，一定要有jdk环境和zookeeper集群 这里是按照zookeeper的集群的方法： https://blog.csdn.net/qq_26....
最近遇到了一个难题，搭建websocket集群实现消息推送，在这之前基本没接触过websocket和集群问题，这次找了很多资料和博文，....
功能 1.基本消息模型 2.消息确认机制(ack) 3.竞争消费者模式 1 github：源码地址 2 环境-父工程(管理依赖版本) 4.0.0....
名师互学网 版权所有 (c)2021-2022 ICP备案号：晋ICP备2021003244-6号
