大数据知识_大数据学习笔记

hdfs小文件问题 背景原因： 1）hdfs上每个文件都要在NN的上创建对应的元数据，每个文件对应的元数据大概150byte，这个元数据....

golang操作elasticsearch详解 直接上代码 package mainimport ("bytes""context""fmt""github.com/olivere/elastic/v7""log....

日志：ambari-metrics-collector.log 1. 停止metrics所有服务 2. 每台collector服务器上运行ps -ef |grep hbase-ams，确保无....

文章目录 一、为什么要进行数据分层？数据分层的好处？1、原因2、好处 二、hive数仓分为哪几层？1、ODS层:数据运营层（贴源....

文章目录 一、Zookeeper分布式集群构建步骤：1、通过secureCRT 把Zookeeper压缩包传到app目录里面，2、解压Zookeeper压缩包3....

本文主要想讨论在Hive1.2.2环境中，以下三种情况下，2表做left join的执行原理： 1. 2张相同大小的表做left join； 2. 大表....

应用场景 我们系统未付款的订单，超过一定时间后，需要系统自动取消订单并释放占有物品 常用的方案 就是利用Spring schedul....

本地虚拟机安装有：jdk1.8、hadoop2.7.1、hive2.1.1、sqoop1.4.7、mysql5.7 阿里云RDSMysql版本为8.0 因为sqoop是要抽取阿里....

Apache Flink 1.11 Documentation: Configuration CDH 6.x flink任务提交之后数据乱码的问题。 1，代码 设置（但是flink默....

2021SC@SDUSC

简 看了几篇文章，发现需要记的实在太多了 于是做个笔记方便巩固 小知识： 消息队列经典使用场景：异步、削峰、解耦 学相....

Impala Impala概述： Impala是个实时的sql查询工具，类似于Hive的操作方式，但是执行效率极高，号称当下大数据生态圈中执行....

一、使用configmap为nginx提供一个配置文件并验证 configMap 卷 提供了向 Pod 注入配置数据的方法。 ConfigMap 对象中存储的....

RabbitMQ如何保证消息的可靠性 1、保证消息不丢失(三步) 开启事务(不推荐) 开启confirm(推荐) 开启RabbitMQ持久化(交换....

结论：同组内的消费者，消费的数据不会重复，当有多个partition时，每个消费者会对有自己负责消费的partition，多进程消费时....

业务场景是实现随意连接，关闭多个传感器，考虑到各个互不影响，并且传感器数据并发很高，这里采用标题的方式进行封装组件。....

本文来说下 Kafka的存储选型 文章目录 概述Kafka的存储难点是什么Kafka的存储选型分析存储领域的基础知识Kafka 的存储选型....

一、消息队列介绍 1.1 什么是消息队列         消息队列的本质是缓冲数据。之所以称之为消息队列系统或者消息队列组件，....

文章目录 1.RabbitMQ入门玩耍1.安装2.RabbitMQ的几大模式3.动手兄弟们，冲准备工作：1.Hello World模式生产者代码：消费者代....

大数据系统搭建（二）Zookeeper搭建 Zookeeper搭建1. 安装Zookeeper软件1.1 创建工作目录(三个节点)1.2 解压 2.修改配置....