大数据知识_大数据学习笔记

一、问题分析 核心：HBase是使用Java语言开发的，所以需要依赖于JVM。 HBase的MemStore本质上是一块缓存，这就会面临Java的G....

HBase HBase概念：HBase是Apache旗下一个高可靠性、高性能、面向列、可伸缩的分布式数据库。 hbase操作速度受以下两个因素影....

2021SC@SDUSC 1.执行物理执行计划：    经过分析、优化、逻辑计划转换为物理计划的懒执行，最终调用SparkPlan的execute方....

背景 公司项目的数据想同步到局域网做数据分析，加上部署了主从数据进行读写分离！之前公司的DBA部署了主从分离（发布订阅的....

Elasticsearch基本操作 文章目录 Elasticsearch基本操作一、概述1.1 正排索引和倒排索引 二、安装程序三、HTTP操作3.1 索....

hive学习知识总结 Hive定义Hive的特点及应用场景Hive架构Hive中的库Hive 中的表行转列，列转行Rank函数UDF Hive定义 Hive由F....

文章目录 前言源码分析1. Kafka 服务端的启动流程2. Kafka 服务端新建连接的处理3. Kafka 服务端请求处理流程 前言 在 Kafk....

参加了重拾写作力量的活动，写这篇文章，绝对不是为了奖品。，刚好也正值年底，来回忆一下大二学年的收获与问题，在这里想起....

需要先下载github中的包 happyfish100/fastdfs-client-java: FastDFS java client SDK (github.com) 解压后在解压文件夹下cm....

首先到Scala官网下载Scala网址为 Download | The Scala Programming Language 找到下图所示位置：选择相对应的版本的Scala....

一.block块的概念 Block块大小的默认参数：dfs.blocksize  默认128M 理解一： 假如一桶水1000 ml， 瓶子规格 100ml ==》 需....

一,Join连接方式介绍 SQL join 用于把来自两个或多个表的行结合起来。 下图展示了 LEFT JOIN、RIGHT JOIN、INNER JOIN、OUTE....

1.我们接下来在hadoop下面etc部署环境配置 命令：cd /opt/module/hadoop-3.1.3/etc/hadoop/ cd /opt/module/hadoop-3.1.3/et....

文章目录 Dockerfile部署haproxydockerfile网站服务器测试功能 Dockerfile部署haproxy dockerfile //目录结构[root@192 ~]#....

前言： 本文简单介绍DotNetCore.CAP的简单使用，关于分布式事务中的“CAP原则”和“BASE理论”以及分布式事务的其他解决方案....

一、准备工作 1、下载并安装 VMware（可参照以下链接）VMware安装 2、镜像下载地址阿里云开源镜像站资源目录Index of /cento....

在分布式环境中，Spark 支持两类数据分发模式。一类是学过的 Shuffle，Shuffle 通过中间文件来完成 Map 阶段与 Reduce 阶段....

【README】 1， 本文总结了 kafka消费者开发方式；2， 本文使用的是最新的kafka版本 3.0.0；【1】 kafka消费则 【1.1】消费....

本人是一个专科大二学生，大数据专业，现在在为曾经买单，想要考专升本，却差的太多，好几次打起精神学习都没有坚持下去，后....

前言 使用各类包版本： 包名版本Ubuntu20.04.3-adm64Hadoop3.3.1JAVAopenjdk-16-headlessPython3.9.5(miniconda 4.11.0)Viir....