大数据知识_大数据学习笔记

RabbitMQ如何确保消息发送 ？ 消息接收？ 发送方确认机制： 信道需要设置为 confirm 模式，则所有在信道上发布的消息都会分....

SpringCloud学习第三天 11 zuul路由网关12 Gateway新一代网关12.1 入门12.2 优化12.3 断言12.3.1 After 路由断言 Factory12.....

利用ElasticSearch做搜索

1.原理 底层基于Lucene，面向文档的，并且是使用json作为文档的序列化格式的。 2.安装 这里采用docker安装的方式 搜索elasti....

大家好，我是小菜。 一个希望能够成为 吹着牛X谈架构 的男人！如果你也想成为我想成为的人，不然点个关注做个伴，让小菜不再....

1、即使每个topic只有1个partition，当topic数量到达成千上万时，会导致总分区数很多，磁盘读写退化为随机，影响性能。 2、K....

RabbitMQ事务消息 通过对信道的设置实现 channel.txSelect()；通知服务器开启事务模式；服务端会返回Tx.Select-Okchannel.ba....

前言 今天本来是打算和大家分享一下，Zookeeper 作为分布式锁的使用方式，不过斟酌之后，最后决定先来几篇基础性文章，系统....

1.一个分布式流处理引擎。 2.有批处理，流处理和表查询操作。 3.核心组件JobManager，Dispatcher，ResourceManager

数据分层 在流式数据模型中,数据模型整体上分为五层。 ODS层 跟离线系统的定义一样, ODS层属于操作数据层,是直接从业务系统....

void main(){ /// ---------------------------------Lists列表(数组):List-------------------------------- print(’-----....

1.输出1到100的数字中x,y轴的和在单位圆中的点，并统计个数 object sparkPi { def main(args: Array[String]): Unit = { ....

在虚拟机102上安装Hadoop cd /opt/software/ 进入软件目录 tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/ 解压缩，这个....

该文档曾在 Github 上线 6 天，共收获 55K+star 的 Java 面试神技(这赞数，质量多高就不用我多说了吧)非常全面，包涵 Java ....

文章目录 一、简介定义hive和hbase数据模型NameSpaceRegionRowColumnTime StampCell 二、Hbase架构数据库的DDL和DML语言....

大数据组件 HDFS HDFS组件结构 | Client(切分file,交互), NN(namespace, block映射，读写请求), DN(存储，心跳), SNN(....

指定副本的存储个数，及secondaryNameNode的存储地址 dfs.replication 1 dfs.secondary.http.address hadoop-node01:50090....

默认支持两种技术和es交互 1.jest的方式 1.1前提 这里有个大的前提，就是springboot的版本不能太高。必须是1.5版本的。因为2....

目录 Kafka 是什么？主要应用场景有哪些？  和其他消息队列相比,Kafka的优势在哪里？ 发布-订阅模型:Kafka 消息模型  什....

DataStream API 流数据处理 流处理基本流程UDF （User-Defined Functions）函数形式编程Data Source 数据源算子原理简单数据....