大数据系统知识_大数据系统学习笔记

myBatis-plus/myBatis 流式查询，大数据量查询 myBatis这个开源框架的好处就不再赘述， myBatis-plus则更是myBatis的增强工....

AMQP AMQP，即Advanced Message Queuing Protocol，一个提供统一消息服务的应用层标准高级消息队列协议，是应用层协议的一个....

其实不会影响启动，就是看着很别扭，有个提示，但是有时候zk里的log4j是不能排除的，因为它用了自己的log文件，如果排掉会导....

flink 版本 flink-1.14.4 hive 版本 hive-3.12 scala 版本 scala-2.12 scala版本按照自己实际情况，我这里是2.12 Flink下载....

SQL风格和DSL风格中分别进行wordcount案例是怎么样的、 sql风格： spark = SparkSession.builder. appName("test....

1.关系型数据库采集技术变迁史 1.1 关系型数据库数据采集的使用场景 错误使用场景    正确使用场景 1.2 CDC技术介绍 CD....

问题：一 Can't call rollback when autocommit=true 2022-03-21 11:44:29,859 INFO io.debezium.jdbc.JdbcConnectio....

环境：Cloudera flume:1.9 自已打好jar包放入flume lib文件夹下； 如：flume-1.0.0/plugins.d/ flume-1.0.0/plugins.d/custo....

需要拥有java环境 1.使用Finallshell或者Xshell连接到你的服务器 2.选择好指定的路径，通过链接输入以下命令下载安装包 ....

Airflow WebUI操作介绍 一、DAG DAG有对应的id,其id全局唯一，DAG是airflow的核心概念，任务装载到DAG中，封装成任务依赖链....

今天在进行hbase-kafka-flume 的集群集成时，我是三个节点，三个Kafka节点，二三节点flume收集信息到一节点flume，再同时打....

记录一下学习到的相关知识，方便以后查看和学习 目录 一、Shell基本知识 二、常用符号 系统变量        自定....

导语 联邦学习（Federated learning）在保证数据隐私性的前提下，使用分散在各地的数据，训练机器学习/深度学习模型，从而在....

背景及问题 本文基于spark 3.1.2 最近在排查spark sql问题的时候，出现了一系列的(CTE)with操作，导致该任务运行不出来，而....

1. 背景   中南大学智能科学与技术专业大三在读，本科期间参加过许多比赛，包括但不限于华为、麒麟软件、腾讯等公司举办的....

Ubuntu系统　已安装Hadoop3.1.3和MySQL 安装启动Hive过程中遇到的问题以及解决方法： 问题一： 启动hive报错：SLF4J: Cla....

Redis实现 发布/订阅 消息对列 前言 发布订阅是一种典型的异步通信模型，可以让消息的发布者和订阅者充分解耦 一、什么是发....

一、压缩概述         和windows下的压缩类似，经过压缩的数据变小了，好处是其IO就会降低，读取和存储一个文件的数....

离线数仓分析 第一步、获取数据源 （1）安装nginx （2）上传shop.html文件到/var/www/html目录 （3）在浏览器通过192.168.....

2【源码】数据可视化：基于 Echarts + Java SpringBoot 实现的动态实时大屏范例-物流大数据_YYDataV的博客-CSDN博客   1【....