大数据知识_大数据学习笔记

多个子服务间远程调用协调工作 中心化 （k8s） 去中心化 有领导 只是由节点自由选取（zookeeper） 脑裂：由于网络原因 形成....

3台云腾讯云开始hadoop学习之路笔记一 大三党开始学习hadoop之路了，新手学习hadoop，有啥错误请大佬指教。由于自己电脑配....

hadoop集群搭建的准备工作 设置静态IP # 检查网卡配置vim /etc/sysconfig/network-scripts/ifcfg-ens33# 将网卡启动方式设置....

Hive中的 collect_set() 函数功能，将某一列中的value取值转换成一个 set ； 在 ClickHouse 中可以通过 groupUniqArray() 来....

一、Flink介绍 Flink官网：https://flink.apache.org/zh Apache Flink 是一个流批统一的计算框架和分布式处理引擎，用于在无....

【参考链接：Ubuntu18安装Scala（亲测）_迷彩侠的博客-CSDN博客_ubuntu 安装scala】 1）查看匹配版本 版本匹配是第一位的，....

情景重现 线程A，创建kafka消费者对象，对数据进行消费等操作 线程B 停止 kafka消费者对象 解决如下 public class KafkaAsyn....

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} object spark_from_mysql_to_hive { def main(args: Array[S

我们在讲私域运营时，曾经提到过的提高用户留存率，增加用户粘性的几种方式，其中一种便是会员体系。那么今天我们就详细聊聊....

七、数据清洗技术   （1） 数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来且包含历史 ....

首先的话，先来介绍一下，Flink的状态 1、每一个算子在启动时，都会先Flink集群，注册自己的状态2、这个状态，最初放在内存....

SparkShuffle reduceByKey会将上一个RDD中的每一个key对应的所有value聚合成一个value，然后生成一个新的RDD，元素类型是....

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 大数据系列文章目录 Seata....

1、new SpringApplication(primarySources)会执行下面初始化 根据META-INF/spring.factories 会实例如下初始化 SharedMetad....

个人简介 作者是一个来自河源的大三在校生，以下笔记都是作者自学之路的一些浅薄经验，如有错误请指正，将来会不断的完善笔....

持续更新，每天一点点，源码阅读。基于 ElasticSearch7.3 github访问艰难，这里从gitee镜像拉取; git clone https://gitee....

在Mysql中我们最终的一个操作就是查询，查询中又要当属join的应用，这里我们在SQL的层面介绍join的7中产寻区别于数据的覆盖....

目录 先操作切换到root下面 关闭防火墙 **关闭防火墙 修改静态ip 1.修改ens33文件 1.3修改成static 重启网络的命令 修改主机....

windows系统 启动zookeeper binwindowszookeeper-server-start.bat configzookeeper.properties 启动kafka binwindowskafka-....

《中智观察》第1618篇推送 作者：雨涵 编辑：杨小天 头图来源：唯你科技官网 “智能，无限可能。” 这是唯你科技联合创始人....