大数据知识_大数据学习笔记

Kafka的事务 ​ Kafka 的事务解决的问题和 RocketMQ 是不太一样的。RocketMQ 中的事务，它解决的问题是，确保执行本地事务和....

在官网里定义了ZooKeeper 是一个集中式服务，用于维护配置信息、命名、提供分布式同步和提供组服务。或者我们从设计模式角度....

在使用springcloud的配置中心的配置文件时，会遇到这样的情况： org.springframework.cloud.config.server.environment.NoSu....

spark of odps 的日志报错排查 logview寻找报错executorspark UI 开源的spark估计大多人都会使用ui界面来排查日志。 但是....

1 镜像部署整体结构 [root@docker files]# tree /haproxy//haproxy/├── Dockerfile└── files ├── haproxy-2.5.0....

仅供自己学习和大家参考 查看帮助命令 [lqs@bdc112 hadoop-3.1.3]$ bin/hadoop fsUsage: hadoop fs [generic options][-app....

关系型数据库和非关系型数据库URL格式 一、关系型数据库URL格式二、非关系型数据库URL格式 一、关系型数据库URL格式 关系型....

当我们在使用目录配额限制的时候,作用于HDFS例根目录下的时候 hdfs dfsadmin -setQuota 2 / 设置是可以成功,但是当要取消的....

HDFS概述以及HDFS的shell操作和API操作 目录 HDFS概述以及HDFS的shell操作和API操作 一、HDFS概述 1.HDFS背景 2.HDFS定义 3.....

文章目录 Delta lake in python [Local][Create a table](https://docs.delta.io/latest/quick-start.html#id4)Py codeoutpu....

1、consumer导致kafka积压了大量消息 方法：1 增大partion数量，2 消费者加了并发，服务， 扩大消费线程3 增加消费组服务数....

文章目录 引入表引擎的概念以及特点一、TinyLog二、Memory三、MergeTree四、ReplacingMergeTree五、SummingMergeTree六、Int....

jdk、hadoop环境配置 ①在opt文件夹下分别创建两个文件夹 mkdir /opt/software mkdir /opt/module 注：software里面存放我....

微信商城系统分销制度原生定制专业开发公司 网上零售业的飞速发展，颠覆了传统的零售商销售管理模式。互联网企业经济的加速....

准备工作： 需要IDEA配置好Scala 操作步骤： 1、新建一个maven工程 2、新建一个Scala类 3、导入依赖 ju....

Hadoop 是Apache基金会开发的分布式系统基础架构；主要解决海量数据的存储和数据的分析计算问题；Hadoop通常泛指Hadoop生态....

文章目录 前言一、RocketMQ是什么？1. 基本概念2. 功能特性3. 为什么选择RocketMQ? 二、架构设计1.技术架构2.部署架构部署....

大数据中按照某个 Key 进行分组，找出每个组内数据的 topN 时，这种情况就 是分组取 topN 问题 解决分组取 TopN 问题有两种....

一.配置hdfs的三个进程以本地机器名comerdata001启动 目的：配置hdfs的老大NN、老二SNN、小弟DN三个进程以本地机器名comerda....

Hive基础 Hive是Hadoop生态系统中必不可少的一个工具。它可以将存储在HDFS中的结构化数据映射为数据库中的一张表，并提供了....