大数据系统知识_大数据系统学习笔记

前言 最近在阿里云服务器上重新安装了jenkins，同时打算集成更多的常用的插件，例如sonar。 很多年前，我在自己的windows电....

文章目录 常见延迟任务常见解决方案主动形式被动形式 基于Redis实现ZSet的方式、键空间通知的方式ZSet的方式键空间通知的....

作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介   流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 A....

顺序表相关博客 线性表之顺序表 链表相关博客 线性表之单链表 线性表之双向带头循环链表 典例：单链表典例          ....

Enhance! File types 去掉 .pdf 是一个 shell 脚本，运行时用到了 uudecode，需要 sudo apt install sharutils 之后就是各....

原理部分 hdfs读数据流程 1.hdfs客户端创建一个DistributedFileSystem对象向NameNode请求下载文件file.txt，NameNode通过查....

1.版本说明 引用官网的说明 Download Apache ZooKeeper 3.8.0 is our current release, and 3.7.0 our latest stable releas....

RocketMQ是阿里开源的一款消息队列，下面介绍最简单的单Master模式的部署。 RocketMQ是Java语言编写，首先我们需要准备好Jav....

目 录 1.Linux简介篇1.1 为什么要学习Linux1.2 Linux是什么1.3 Linux创始人1.4 Linux主要发行版本1.5 Linux和Unix前世今生 ....

1 概述 1.1 内涵及概念模型 城市数字孪生是利用数字孪生技术，以数字化方式创建城市物理实体的虚拟映射，借助历史数据、实时....

一、需求1 从TCP Socket数据源实时消费数据，对每批次Batch数据进行词频统计WordCount，流程图如下： 二、准备工作 本地....

今天我们将对大数据计算管理部分的数据倾斜做一个总结，本文讲述主要是以spark计算引擎主，相信我，这可能是你看见过最详....

建立数据仓库的意义在于使用这些数据，而最典型的应用是数据挖掘。 一、数据仓库概述 数据仓库是一个面向主题、集成、相对稳....

Kafka学习笔记(本文为在 linux 环境下安装配置Kafka) 在官网下载好kafka的安装包(linux和windows环境下都是同一个) 将文件....

RFM 模型 在数据分析中经常会进行用户分层，本文我们来了解一下常见的用户分层模型RFM。 RFM概念 RFM是由R(Recency)、F ....

一，整合原理 1，HiveOnSpark Hive是一个Sql解析引擎，其不具备计算能力，Hive将Sql解析为物理执行计划，将物理执行计划转换....

文章目录 Hadoop的概念及发展历史 Hadoop名字的由来 Hadoop的概念 Hadoop发展史 Hadoop的应用现状 A....

1、前言 随着互联网3.0的到来，数据也井喷式爆发。随着大数据的到来，谁能拿到数据，用好数据也就成了重中之重。本次文章与....

MySQL优化之 —— LIMIT分页查询优化 对常见的小规模数据的分页查询可以通过覆盖索引提高性能。 但是对于大数据量应采取其他....

目录 一、问题描述二、解决方法 一、问题描述 SpringBoot 集成 Elasticsearch 时报错 Elasticsearch built-in security fea....