
kafka消息队列有两种消费模式,分别是点对点模式和订阅/发布模式。具体比较可以参考Kafka基础–消息队列与消费模式。 下图是....
前言 centos不像debain当中已经内置了lsyncd只需要apt-get install 安装即可,centos当中没有需要epel源当中进行安装。 安装....
在给大家介绍ZooKeeper之前先来给大家介绍一种技术——分布式协调技术。那么什么是分布式协调技术?那么我来告诉大家,其实....
一、CBO优化 基于成本的优化器(默认已开启),参数设置set hive.cbo.enable=true;set hive.compute.query.using.stats=true....
分布式系统模型 什么是分布式系统,分布式系统的目标? 分布式系统是若干独立计算机的集合,它们对于用户来说就像单个相关系....
运行环境spark3、三星980固态硬盘、i7-10700k, 5分钟处理好。 主要使用CPU和固态硬盘换取内存处理,速度处理快于内存处理,sp....
目录 一、hadoop高可用集群部署1.hadoop高可用集群简介2.部署说明3.Zookeeper 集群搭建4.hadoop-HA高可用搭建4.故障自动切换....
2021SC@SDUSC 目录 Compact回顾 Compact发起时机 2021SC@SDUSC 过去的五篇里分析了compact的流程,从这篇开始分析compact....
消息队列中间件之kafka—目录 1.Kafka概述 2.Kafka 快速入门 3.Kafka 架构深入 3.1 Kafka 工作流程及文件存储机制3.2 Kafka ....
本次实验拓扑图如下 实验要求如图 步骤: 1.网络拓扑图搭建 2.配置路由器和交换机的IP地址和端口地址 3.ping通四台设备 4.....
1、ZooKeeper 入门 1.1、概述 Zookeeper 是一个开源的分布式的、为分布式框架提供协调服务的 Apache 项目。 Zookeeper 工作....
股票模拟交易日志(五) 时间:2021.12.15 主要交易活动:1、买入绿地控股 300股 买入价4.16 2....
Scala 入门 1、概述 1.1、为什么学习 Scala 1)Spark—新一代内存级大数据计算框架,是大数据的重要内容。 2)Spark就是使用....
前言 在上一篇,我们通过命令行的使用掌握了如何基于hdfs的命令对hdfs文件系统的常用操作,本篇将分享如何基于JavaAPI 操作h....
前言 掌握常用的hdfs文件操作命令是考验对hadoop集群运维的基本功,可以说是必须掌握的基础技能,本篇将常用的hdfs文件操作....
ubuntu伪分布式hdfs中用sqoop工具将hive仓库中的数据导出导入到mysql数据库里时出现的错误。 尝试一下 将~/tmp/sqoop-chen/c....
1 、数据背景 该数据每日进行采集汇总。数据范围涵盖全国主要省份(港澳台、西藏、海南暂无数 据)的 180+ 的大型农产....
一、首先新建虚拟机 二、配置静态IP 1、首先查看虚拟网络编辑器 查看起始IP ....
目录 一、One Metric - 第一关键指标法 二、AARRR海盗指标法 2.1 为什么叫海盗模型呢? 2.2 AARRR模型的核心点 2.3 AARRR....
区块链知识拼图:DAG,以IOTA为例 区块链,伴随着比特币在币圈的爆热,逐渐被社会大众所知晓。区块链的基本概念,不是这篇分....