大数据系统知识_大数据系统学习笔记

目录 一、什么是索引选择性陷阱 1.1 InnoDB的存储结构 1.2 头匹配,尾匹配与任意匹配 1.3 索引选择性太差导致全表扫描 二、索....

今日的题不知怎的，竟略显苦涩，但想起训练之过程，便也甜了几分 准备比赛： 今年寒假还是一如既往的留校训练了，从12月中....

使用spark，多线程写入clickhouse 第一次建表时设置ENGINE = MergeTree，PARTITION BY和ORDER BY字段相同。 最终表中的数据....

大数据-玩转数据-Spark-Structured Streaming 输出操作（python版） 1、说明 Structured Streaming流计算过程定义的DataFram....

1. DataX 1.1. 产品特性 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、P....

InterProcessMutex InterProcessMutex类的源码注释： A re-entrant mutex that works across JVMs. Uses Zookeeper to hol....

第1关：批量获取数据 本关任务：编写Java程序批量获取HBase中指定表的所有数据。 package step1;import java.io.IOException....

用 Zookeeper 存储，通过 Watch 感知数据变化；用 mysql 数据库存储，周期性的同步；用 mysql 数据库存储，使用广播流。 第....

1-1：环境描述 ubuntu:20.04docker-compose: 2.2.2docker: Docker version 20.10.12, build e91ed57rabbitmq: RabbitMQ 3.9.....

我们这次笔记差不多是SpringBoot学习的最后一个知识部分了。 分布式系统理论 RPC Dubbo及Zookeeper的安装 原理图： 我们....

公司简介 北京金海乐游软件有限公司是一家以计算机软件架构开发为核心，实施计算机软硬件系统集成的现代科技企业。我司从事....

由于自己的项目需要大数据可视化，所以就得学习，对于数据的处理就是一个难事，我在想如何对男女这个数据进行处理，因为两个....

Spring Cloud Netflix之Eureka源码系列文章一共分为六个片段 Spring Cloud Netflix-Eureka(一)、服务注册与发现 Spring Clou....

zookeeper学习笔记系列 Zookeeper 学习笔记（一）概述 Zookeeper 学习笔记（二）内部原理 Zookeeper 学习笔记（三）zook....

目录 前言1. HDFS数据迁移解决方案1.1 数据迁移使用场景1.2 数据迁移要素考量1.3 HDFS分布式拷贝工具：DistCp1.3.1 DsitCp介....

ReplicatedMergeTree作为Clickhouse（下文简称CK）复制表系列的基础表引擎，包涵了CK数据副本最核心的逻辑，本文详细介绍了R....

前言 对于做大数据开发的同学来说，掌握hive是必备的技能之一，hive基于hdfs之上的一款强大的数据分析框架，可以从海量的数....

目录 1. 环境准备2. 部署安装3. 群起脚本 1. 环境准备 官网下载地址：https://www.apache.org/dyn/closer.cgi/zookeeper/三....

生产者消费者模式         生产者和消费者模式：这其实是一个线程同步问题，生产者和消费者共享同一个资源，并且生产....

0 前言 大家好，我是小林！ 本篇文章是 Spark 系列的第二篇文章。 第一篇文章： 还没看的建议先去补课！本文大纲如下： 上....