大数据系统知识_大数据系统学习笔记

感谢尚硅谷教育对资源的无私开放 一.概念 1. 定义 Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时....

概述 最近在负责一款数据产品，因调试需要，得经常执行impala查询SQL。公司内部维护有一个Hive/Impala查询平台，本来可以使....

Spark快速大数据分析——Spark安装（贰） 系列文章目录 Spark快速大数据分析——Scala语言基础（壹）。 软件环境： Hadoop-3....

此命令可列出插件的启用和禁用状态 rabbitmq-plugins list mq部署在 docker 容器 使用此命令查看 docker exec rabbitmq rabb....

目录   一、Hadoop完全分布式安装配置 1、上传hadoop安装文件 2、修改主机名 3、映射和集群 4、配置yarn和mapreduce 5、集....

官网：https://maxwells-daemon.io/quickstart/ Maxwell安装 下载maxwell-1.25.0.tar.gz(注意：高版本的可能需要高版本的jd....

一、提前安装好jdk环境 注意hadoop只支持jdk7和jdk8，不支持jdk11 java -versionjava version "1.8.0_141"Java(TM) SE Runti....

对phper来说，接触java相关的配置很都需要好好记录下来。 因为项目需求，现在要自己搭建es环境 java环境请先自行安装，这里....

flink使用checkpoint等知识 - 简书 默认情况下，如果设置了Checkpoint选项，则Flink只保留最近成功生成的1个Checkpoint，而....

elasticsearch版本7.0，7.0版本有默认的type，8.0会彻底废弃 1、向索引idx_resource添加image_analyse字段，类型为text 语句....

一.问题分析 原始程序使用 EventTime，JobGraph 为 Source + KeyBy + ProcessFunction + Window + Sink 形式，其中 ProcessF....

之前搭建的Ambari可以查看之前的博客 接下来我们来看下HDFS 开启HA 开启HDFS 的HA架构 选择启动NN的HA 因为之前是3节点的所....

随着我国经济的蓬勃发展，尤其是进入数字经济时代，产业演变速度的加快，数字化已是大势所趋，我国产业园区逐步迈入数字化管....

-- Create tableset hive.exec.dynamic.partition.mode=nonstrict;--使用动态分区set hive.exec.compress.output=true;--控....

如果您觉得这篇文章对你所有帮助的话，您的顺手点赞和转发将是对作者持续发文的重要动力，您的支持和鼓励很重要！ 所有文章....

Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统，吞吐速率非常快，可以作为Hadoop的日志收集....

1、引用nuget包UtilsSharp.Kafka UtilsSharp.Kafka是基于Confluent.Kafka 1.8.2封装的，封装后使用简单快捷。 2、 注册链接....

（1）理解数据。 （2）分析数据。而分析数据需要设定相关指标来分析数据。 提示：有些数据从不同角度看，可以属于不同的分....

skynet并不是一个开箱即用的服务端框架，游戏后端在开展业务时，需要根据自身业务特点，合理设计相应的服务端框架。在这里我....

Spark Streaming介绍 随着大数据的发展，人们对大数据的处理要求也越来越高，传统的MapReduce等批处理框架在某些特定领域（....