大数据系统知识_大数据系统学习笔记

一、基本概念 1、index（索引） 动词，相当于MySQL中的insert 名词，相当于MySQL中的Database 2、Type（类型） 在index（索....

1.环境搭建 [root@hadoop01 ~]# vi /etc/profile# HBASE_HOMEexport HBASE_HOME=/export/servers/hbase-1.2.1export PATH=$P....

搭建伪分布模式将采用finalshell连接Linux虚拟机，如果不觉得麻烦，也可以直接在Linux虚拟机上进行搭建。 工具：finalshell....

canal作用就是感觉mysql中业务数据的更新变化，作为kafka的生产者，把数据的前后的变化推送给kafka集群 kafka-consumer作用....

通常每个应用程序都会有相应的配置文件去设置应用程序运行时需要使用的一些参数，如数据存储地址，日志存储地址，客户端连接....

1、配置Linux操作系统网络及主机名及其克隆虚拟机配置映射关系（root权限下，systemctl disable firewalld关闭防火墙（禁止....

零拷贝学习笔记 1. 零拷贝简介2. 零拷贝发展2.1 传统IO2.2 mmap+write2.3 sendfile2.4 带有DMA收集拷贝功能的sendfile实现的....

文章目录 1.CDC概述1.1 CDC1.2 CDC 分类1.3 Flink-CDC1.4 ETL 分析 2.Flink CDC 编码2.1 提前准备2.2 mysql 的设置2.3 ja....

Dubbo目录 文章目录 六、Dubbo与SpringBoot整合6.1、项目结构6.2、项目搭建6.2.1、导入依赖6.2.2、boot-user-service-prov....

Dubbo目录 文章目录 三、Dubbo环境搭建1、【windows】-安装1.1、安装zookeeper1.2、安装dubbo-admin管理控制台 2、【lin....

（1）维度数据写入HBase package com.yyds.app.function;import com.alibaba.fastjson.JSONObject;import com.yyds.common.....

使用场景： 公司接到一个需求，需要查询ES索引A中所有数据，并根据查询到的数据中的某个字段再去查询另外一个索引B，整合并....

测试环境 Flink SQL 1.14Mysql 5.7pom依赖引入Flink-JDBC Connector 以及 Mysql Driver依赖 mysql mysql-connector-jav....

文章目录 1.时间语义概述2.水平线 Watermark2.1 Watermark 介绍2.2 Watermark 特点2.3 如何生成水位线2.4 有序流2.5 无序流2....

为了节省时间，实战案例只贴了一些关键代码，需要的可以去下面的git仓库直接拉取。  1. 什么是MQ？ MQ全称Message Queue....

一、环境准备 （1）本地搭建hadoop环境 将hadoop相关文件放到目录下如下 配置环境变量 在终端输入hadoop version 如下....

如果刚搭建好hbase启动报错 /usr/local/hbase/bin/hbase:行445: /usr/local/bin/java: 没有那个文件或目录 starting mast....

最近在工作中遇到了一个场景是这样的： 每到月初我们需要向上个月考勤有异常的同学的企业微信推送异常考勤提醒，让有异常....

一、环境搭建目标 服务器运行角色node1.adeaven.comnamenode、datanode、resourceManager、nodeManagernode2.adeaven.comsec....

在了解Elasticsearch的写入原理之前先了解一下什么是refresh刷新时间间隔，那什么是刷新时间间隔呢，我们来举一个例子： 当....