前沿技术知识_前沿技术学习笔记

1. 背景 在大数据存储系统或者各类分布式系统，为了增加系统高可用性，往往会将同一数据存储多份副本。常规做法是三副本，数....

一.简介 XXL-Job：大众点评的分布式任务调度平台，是一个轻量级分布式任务调度平台, 其核心设计目标是开发迅速、学习简单、....

一、基本概念 1、index（索引） 动词，相当于MySQL中的insert 名词，相当于MySQL中的Database 2、Type（类型） 在index（索....

数仓设计指对数据仓库的各项组成进行规划，在正式建设数仓之前形成指导性建设方案。 数仓设计主要分为两部分：数据仓库同操....

文章目录 1.CDC概述1.1 CDC1.2 CDC 分类1.3 Flink-CDC1.4 ETL 分析 2.Flink CDC 编码2.1 提前准备2.2 mysql 的设置2.3 ja....

零拷贝学习笔记 1. 零拷贝简介2. 零拷贝发展2.1 传统IO2.2 mmap+write2.3 sendfile2.4 带有DMA收集拷贝功能的sendfile实现的....

1、配置Linux操作系统网络及主机名及其克隆虚拟机配置映射关系（root权限下，systemctl disable firewalld关闭防火墙（禁止....

通常每个应用程序都会有相应的配置文件去设置应用程序运行时需要使用的一些参数，如数据存储地址，日志存储地址，客户端连接....

canal作用就是感觉mysql中业务数据的更新变化，作为kafka的生产者，把数据的前后的变化推送给kafka集群 kafka-consumer作用....

搭建伪分布模式将采用finalshell连接Linux虚拟机，如果不觉得麻烦，也可以直接在Linux虚拟机上进行搭建。 工具：finalshell....

1.环境搭建 [root@hadoop01 ~]# vi /etc/profile# HBASE_HOMEexport HBASE_HOME=/export/servers/hbase-1.2.1export PATH=$P....

测试环境 Flink SQL 1.14Mysql 5.7pom依赖引入Flink-JDBC Connector 以及 Mysql Driver依赖 mysql mysql-connector-jav....

使用场景： 公司接到一个需求，需要查询ES索引A中所有数据，并根据查询到的数据中的某个字段再去查询另外一个索引B，整合并....

（1）维度数据写入HBase package com.yyds.app.function;import com.alibaba.fastjson.JSONObject;import com.yyds.common.....

Dubbo目录 文章目录 三、Dubbo环境搭建1、【windows】-安装1.1、安装zookeeper1.2、安装dubbo-admin管理控制台 2、【lin....

Dubbo目录 文章目录 六、Dubbo与SpringBoot整合6.1、项目结构6.2、项目搭建6.2.1、导入依赖6.2.2、boot-user-service-prov....

在了解Elasticsearch的写入原理之前先了解一下什么是refresh刷新时间间隔，那什么是刷新时间间隔呢，我们来举一个例子： 当....

一、环境搭建目标 服务器运行角色node1.adeaven.comnamenode、datanode、resourceManager、nodeManagernode2.adeaven.comsec....

最近在工作中遇到了一个场景是这样的： 每到月初我们需要向上个月考勤有异常的同学的企业微信推送异常考勤提醒，让有异常....

如果刚搭建好hbase启动报错 /usr/local/hbase/bin/hbase:行445: /usr/local/bin/java: 没有那个文件或目录 starting mast....