大数据系统知识_大数据系统学习笔记

区块链是具有巨大潜力的战略技术。2021年，国家“十四五”发展规划纲要将区块链列入七大数字经济重点产业之一。工信部、中央....

1什么是分布式系统？   在《分布式系统原理与范型》一书中有如下定义：“分布式系统是若干独立计算机的集合，这些计算机对....

mall整合Elasticsearch实现商品搜索 1、依赖 1.1、启动ES服务 下载ES：https://www.elastic.co/cn/downloads/past-releases/....

Hadoop数据分析项目“环境搭建” 环境要求搭建步骤打开vmvare，将一个主节点虚拟机，克隆两台从节点虚拟机点击Slave**下载ha....

前言 上篇文章简单介绍canal概念，本文结合常见的缓存业务去讲解canal使用。在实际开发过程中，通常都会把数据往redis缓存中....

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elastics....

Gartner 预测，到 2023 年，大型企业中40% 的基础设施和运营团队将使用人工智能增强的自动化，从而提高生产力。当然，他们的....

文章目录 ELK简介特点组件介绍Elastic SearchLogstashKibanaBeatsElastic cloud ELK简介 ELK是一个免费开源的日志分析架构....

1.解压压缩包 tar -zxvf apache-tez-0.9.2-bin.tar.gz 2.将tez路径下的压缩包放到hdfs上 /opt/lagou/servers/tez/share/tez.....

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它是集群的管理者，监视着集群中各个节点的状态，根据节点提....

1. 内核 一文彻底弄懂Apache Hudi不同表类型 硬核！Apache Hudi中自定义序列化和数据写入逻辑 Apache Hudi内核之文件标记机....

离线数仓中为什么要分层？ 简单概述一下： 解耦提高数据复用性（最重要）将复杂需求简单化，从原本的需要执行十几步，分层之....

近10年以来，IT技术飞速发展，“泛在虚拟化->软件定义->云服务”的三段论思维很典型。虽然，大多以IBM 开发的 CP-40Mainfram....

1 基本概念2 Combiner发生时机3 Combiner作用4 自定义Combiner实现wordcount案例5 结果 1 基本概念 Combiner是MapReuce程序....

目录 1. Session Mode 1.1 流程 1.2 优缺点总结 1.3 适用场景 2.Per-Job mode 2.1 流程 2.2 优缺点总结 2.3 适用场景 3. Se....

因为生产需求，从而催生这篇文章。今年是2022年，新的一年，祝每个程序员们都能拿到想要的奖金，哈哈哈，新年第一篇文章，免....

一、ik 远程词库 上篇文章对ik进行了整体的讲解，包括远程动态词库的讲解，但是上篇文章中是基于nginx+静态txt文件实现的，....

1、dubbo简介 1.1Dubbo是什么? 一款分布式服务框架高性能和透明化的RPC远程服务调用方案SOA服务治理方案属于流动计算架构(SO....

DolphinScheduler安装 基础软件安装安装部署 基础软件安装 PostgreSQL (8.2.15+) or MySQL (5.7系列) : 两者任选其一即可JDK....

1 排序分类2 相关接口3 比较器的配置3.1 Text类的自定义比较器3.2 比较器获取 4 自定义比较规则4.1 两种情况4.2 方案1实例....