大数据知识_大数据学习笔记

[ERROR] 2021-11-16 11:08:21.000 org.apache.dolphinscheduler.common.utils.HadoopUtils:[180] - java.net.UnknownHostExcepti

1.什么是数据倾斜 数据倾斜就是数据大量集中在一个点使得任务执行缓慢或者失败。 2.数据倾斜的表现 表现是使得在执行数据处....

Kafka理论知识汇总 01、什么是消息队列？ 消息队列就是用于当两个系统之间或者两个模块之间实现消息传递时，基于队列机制实....

1 官网下载zookeeper zookeeper官网 2 修改conf/zoo.cfg配置文件 #这里不能改数据存放目录，因为官方docker镜像用的就是这个....

Hive alter column 列名命名规则 在 Hive 0.12.0 及更早版本中，列名只能包含字母、数字和下划线。 在 Hive 版本 0.13.0 及....

joining 窗口连接将共享一个公共键并位于同一窗口中的两个流的元素连接起来。这些窗口可以通过使用窗口分配器来定义，并在来....

1：上传flink-1.13.0-bin-scala_2.12.gz 到 /opt 目录下 2：解压 tar xzf flink-1.13.0-bin-scala_2.12.gz 3：./bin/flink r....

下载解压 修改配置文件 官网下载 修改 conf/hbase-env.sh export JAVA_HOME=/app/jdk/jdk1.8.0_161export HBASE_MANAGES_ZK=....

1、计算机系统集成发展趋势：网络化、服务化、融合化、体系化 　　系统集成技术目前已经被广泛应用于工业、农业、建筑业、安....

1、 集群基础配置(1300/1300分) 考核条件如下： 1. 修改主机名（分别为master、slave1、slave2） 操作环境: master、slave1....

1、下载有kafka相关的jar包。 链接：https://pan.baidu.com/s/1b38x-Ikl8bA3WK1EpBS-gQ，提取码：6sel 也可手动打jar包，打....

1.背景：         部分业务数据存放在亚马逊S3上，但大数据集群是购买腾讯云emr，希望通过内网专线从腾讯云emr上读取S3....

官方文档上这么解释zookeeper，它是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常....

无论使用Kafka作为队列，消息总线，还是数据存储平台，总是需要通过创建一个生产者写入数据到Kafka，一个消费者从Kafka读取....

物联网，The Internet of Things,简单点说就是物物相连的互联网。它以互联网为核心和基础，却又对互联网做了进一步的延伸和....

前提:在获取了域控权限后，可以通过读取ntds.dit 获取域内更多资产信息 概念： 在活动目录中，所有域内数据都保存在ntds.dit....

一丶Kafka应用     鉴于kafka在实际使用时，绝大多数应用场景均为Producer和Consumer的API配合使用，故在此只介绍这两种A....

面试题中常见的问题： 1.如何保证消息不丢失 2.处理重复消息 3.消息有序性如何保证 4.消息堆积处理 消息中间核心功能： 1.服....

Lambda架构是由Storm的作者Nathan Marz提出的一个实时大数据处理框架。Marz在Twitter工作期间开发了著名的实时大数据处理框....

本文章主要介绍SpringBoot集成elasticsearch进行全文检索的功能处理。 一、首先是yml配置文件进行数据配置如下模式。 spring....