大数据系统知识_大数据系统学习笔记

消息队列kafka 1.概念2.Kafka组成部分与架构2.0 名词介绍2.1 partition2.2 broker 数据存储机制2.3 安全机制 ack 3. 各种消....

Redis是开发中非常常用的内存数据存储中间件，之前基本上用它来做内存存储使用。最近发现Redis推出了很多增强模块，例如通过....

1、前言 1.1、JavaCC         JavaCC(Java Compiler Compiler)是一个开源的语法分析器生成器和词法分析器生成器。Ja....

目录 WIndow集群 Linux集群 单点部署 集群部署 ES优化 硬件选择 分片策略 推迟分片分配 路由选择 写入速度优化 批量数据提....

1.概述 翻译：官网实现 5. 实现 5.1 网络层 网络层是一个非常简单的NIO服务器，这里不会详细描述。sendfile实现是通过给Mess....

本篇文章主要内容： Flink on Yarn的任务提交流程，以及任务运行过程中的交互；根据Flink Application向Job Manager提交任务....

目录 1、问题的背景 2、工程实践 3、总结 1、问题的背景    在写Java面向对象程序的过程中，我们往往不知不觉中写成了面....

1、利用SparkSession从Hbase中读取数据,转换为DataFrame package com.yyds.tags.toolsimport org.apache.hadoop.conf.Config....

导读：经常被读者朋友问：“数据管理或数据治理工作到底应该做什么？”、“为什么做了一年半载的数据管理或数据治理工作不被....

前言：AI产品落地，非常有意思，也非常有难度，究其原因，除了AI技术、产品、行业、人才、用户等各方面都还没成熟，还有一个....

MQ服务   package mqimport ("bytes""fmt""github.com/streadway/amqp")// 连接func Connect() (*amqp.Connection, error)....

文章目录 1.概述 1.概述 一套代码写了有半年了，目前在十几个集群运行，然后一直没有问题，今天突然有一个环境，不....

平时在 Pulsar 交流群中，我们发现大家在接触和使用 Pulsar 的过程中，会反复遇到相类似的问题。为了更高效地解决大家这些“....

目录 1、问题背景 2、延迟消息设计 2.1 RedisDelayQueue 2.2 RedisDelayQueueItem 2.3 RedisDelayQueueHandler 2.4 Composit....

整体情况总结 这应该是自己暑期实习最早的一份面经 + 攻略~许愿offer啦 2022-3-9 12点来的消息三面过了~~ 个人简历情况：双....

近日，CCF 数据库专业委员会、大数据专家委员会分别公布了执行委员最新名单，PingCAP 联合创始人兼 CTO 黄东旭成功当选数据....

目录 更改列的数据类型清空表数据，保留数据结构 更改列的数据类型 #将class列数据类型更改为stringalter table student.cla....

目录 1 案例目标 2 环境要求 3 知识储备 4 案例流程 5 案例实践 Step 1 为hadoop01节点生成根证书 Step2 生成keystore（密钥....

一、简介 MQ全称为Message Queue-消息队列，是一种应用程序对应用程序的消息通信，一端只管往队列不断发布信息，另一端只管....

服务重启数据丢失 必须发送端和接收端都设置持久化才可以 1. 发送端创建队列时 , 第二参数(是否持久化)改成true 2. 发送端发....