大数据系统知识_大数据系统学习笔记

服务端安装 docker-compose文件 ```yamlversion: '3.3'services: elasticsearch: image: elasticsearch:7.9.0....

使用 RestHighLevelClient 对ES进行操作（三） 目录 使用 RestHighLevelClient 对ES进行操作（三）环境准备3.0 查询所有3.....

1.下载kafka，地址如下： https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.6.0/kafka_2.12-2.6.0.tgz 2. 上传kafka 3....

oozie中管理datax脚本方法实践 @[TOC](oozie中管理datax脚本方法实践)写在前面遇见问题解决方法步骤处理实践中的问题最后 ....

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.util.Utils$.classForName(Ljava/lang/String;....

//简单filter查询//POST _myindex/_mytype/_search?{ "query": { "bool": { "filter": { "term": { "....

聚合(Aggregation)： 搜索、合并、显示数据的过程。 算法(Algorithms)： 可以完成某种数据分析的数学公式。 分析法(Analyt....

原文链接：https://weixiaodyanlei.xyz/archives/hdfs-ji-jia-gan-zhi Hadoop版本：2.9.2 什么是机架感知 通常大型 Hadoo....

1.input 读文件 2.split（分片） 例如，blocksize（块） 128MB 3.map word->(word,1) keyvalues 键值对 4.shuffie（洗牌） ....

北京明年启动中小学教师在线研修,通州等四区教师可先"充电"北京将试行中小学教师开放型在线研修计划,建设北京市中小学教师开....

推荐一个零声学院免费公开课程，个人觉得老师讲得不错，分享给大家：Linux，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB....

Kafka_2.12-3.1.0集群环境搭建 一、环境说明二、安装步骤 一、环境说明 目前的Kafka版本还是需要借助zookeeper来存储clu....

准备 Rocket部署 下载源码并构建 下载地址：https://www.apache.org/dyn/closer.cgi?path=rocketmq/4.9.3/rocketmq-all-4.9.....

文章目录 Eureka服务注册与发现一、Eureka基础知识服务治理服务注册Eureka两组件 二、单机Eureka构建步骤1、IDEA生成eurek....

1、概述 死信：就是 无法被消费的消息。一般来说，producer 将消息投递到 broker 或者直接到 queue 里了，consumer 从 queue....

Lambda 架构 大数据本质 数据系统 = 数据 + 查询批处理层：保证准确性，但高延迟的批数据处理服务层：低延迟读速度层：事实....

一.简介 XXL-Job：大众点评的分布式任务调度平台，是一个轻量级分布式任务调度平台, 其核心设计目标是开发迅速、学习简单、....

1. 背景 在大数据存储系统或者各类分布式系统，为了增加系统高可用性，往往会将同一数据存储多份副本。常规做法是三副本，数....

文章目录 前言技术栈和代码结构关键的导出监听器Service 实现测试 前言 语雀社区写的 easyExcel 确实是目前市面excel 导入导....

数仓设计指对数据仓库的各项组成进行规划，在正式建设数仓之前形成指导性建设方案。 数仓设计主要分为两部分：数据仓库同操....