大数据知识_大数据学习笔记

ps: 本文参考hadoop-3.3.0 1 NameNode简介 namenode是hadoop架构中最重要的角色之一，NameNode主要管理管理着名称空间表（文....

Spark2.4.8读写MySQL数据库表 一、创建数据库表二、测试数据三、编写程序四、运行结果 一、创建数据库表 创建edu_teacher....

开源地址 https://gitee.com/tech-famer/reliablemessage-spring-boot-starter 介绍 这是一款基于RabbitMQ的confirm和return....

简介 搜索基于Lucene库支持Rest风格API支持直接命令行操作和通过工具Kabana操作支持使用多种语言作为客户端操作：Java, Java....

ElasticSearch亿级数据毫秒查询实现 性能优化：Filesystem Cache ES里写的数据，实际是存到磁盘，查询搜索时，将磁盘文件里....

文章目录 资料基本概念分布式锁总结选举机制 资料 ZK分布式锁最佳讲解 ZAB协议与leader选举图解 基本概念 ZK基本概念详解 ZK....

2021SC@SDUSC hbase代码分析（六） 写入流程 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 接上次博客 （2）随机写....

FlatMap算子：将数据流一行按逻辑或规则拆分成0行或多行输出 示例环境 java.version: 1.8.xflink.version: 1.11.1 示例数据....

全局排序--order by order by对整表数据进行排序，使用一个reducer，ASC升序（默认），desc降序，在企业中一般禁止该操作，....

Elasticsearch全文检索引擎服务器 1.克隆docker base:es 2.设置ip ./ip-static ip: 3.上传文件到、root pditems文件夹 elast....

spark on hive：通过读取hive的元数据，获取到hive的表信息，通过sparkSQL去操作hive中的数据 hive on spark：将底层的计算....

首届 Flink Forward Asia Hackathon 正式启动，本次比赛由 Apache Flink 社区联手阿里云 ACE、 Pravega 社区、DELL 联合举办....

1、tt收集mysql binlog如果有update和delete怎么处理 update相当于输入一行新的数据，tt不支持delete数据源。 binlog 操作类....

java项目问相关的java技术栈 多线程，锁，cas原理 redis与数据库的数据一致性 Kafka在什么情况下会丢失消息 分布式执行....

rabbitmq主从docker部署 Dockerfile FROM centos:7.7.1908COPY erlang-20.3.6-1.el7.centos.x86_64.rpm /homeCOPY rabbitmq....

报错信息: Elasticsearch::UnsupportedProductError (The client noticed that the server is not a supported distribution....

Springboot集成rabbitmq pom.xml 依赖 org.springframework.boot spring-boot-starter-amqp ....

一、Elasticsearch SQL简介 Elasticsearch SQL 是一个 X-Pack 组件，它允许对 Elasticsearch 实时执行类似 SQL 的查询。无论....

RaabitMQ环境部署（Windows、单机、Docker、集群） 一、windows安装1.1、erlang下载1.2、rabbitmq下载 二、Linux安装2.1、e....

Flink 流应用程序处理的是以数据对象表示的事件流。所以在 Flink 内部，我们 需要能够处理这些对象。它们需要被序列化....