大数据知识_大数据学习笔记

1、实现步骤 jdk1.8构建一个maven工程导入rabbitmq的maven依赖启动rabbitmq-server服务定义生产者定义消费者观察消息的在rab....

分布式框架-Dubbo Dubbo与spring整合!! 导入坐标 org.apache.dubbo dubbo 3.0.6 org.apache.curator cu....

导读：企业数据治理的9个要素。 作者：用友平台与数据智能团队 来源：大数据DT（ID：hzdashuju） 知名咨询公司Gartner的调研....

kafka 命令行操作大全 一、集群相关常用命令二、topic相关常用命令2.1 脚本&参数简介2.2 举例 三、生产者命令行常用操作3.1....

Kafka Consumer、Producer如何实现精确一次消费数据、生产数据 3种信息交付可靠性保障幂等性 Producer作用范围 事务型 Pr....

背景 其实，以前编写flink代码的时候，模式比较固定，不管你中间过程如何花里胡哨，开头总要有一个获取上下文环境，最后总要....

写在前面 网络的飞速发展（网络传输速度的提高、网络存储能力的提升）以及短视频时代的兴起，使得网络上传输/存储的数据量呈....

org.springframework.amqp.AmqpAuthenticationException: com.rabbitmq.client.AuthenticationFailureException: ACCESS_REFUSED

整体框架： 处理函数 基本处理函数 ProcessFunction 处理函数的功能 ProcessFunction：能拿到别的API拿不到的东西。 处理函....

经过近一年的等待，《Kafka进阶》新书上市！！先睹为快！！！用一本书掌握Kafka核心体系内容。 本书具有下面的特点： 全面系....

hive删除列命令使用如下 spark无法感知 spark.table("tb1").columns 仍然显示是修改前的所有列. 这里有个坑. 因为上面删除....

在国家政策及战略方向的指导下，信创产业已成为奠定中国未来发展的重要数字基础，而国产化则可以解决核心技术关键环节被“卡....

测试代码 struct排序规则: 按照字段从前到后. object Demo1 { def main(args: Array[String]): Unit = { val spar....

Hadoop的核心是HDFS和MapReduce.         HDFS是解决海量大数据文件存储问题         是目前应用最广泛的分....

1、什么是AMQP？ AMQP全称：Advanced Message Queuing Protocol(高级消息队列协议)。是应用层协议的一个开发标准，为面向....

基于Spring Cloud Alibaba 分布式微服务高并发数据平台化(中台)思想+多租户saas设计的企业开发架构，支持源码二次开发、支持....

问题解决： 检查Kafka的config/server.properties 看看是否有填写 listeners=PLAINTEXT://kafka-host:9092advertised.listen....

Kudu是一个分布式的，具有可扩展性的列式存储管理器，可以对快速变化的数据进行快速分析。   使用场景 近实时计算场景 时....

1、准备工作： 需要在rabbitMq中安装插件：rabbitmq_delayed_message_exchange插件并启动，下载地址 https://www.rabbitmq.c....

目录 记录一次流处理引擎选择的过程1、Spark Streaming2、Kafka Streaming3、Flink最后 记录一次流处理引擎选择的过程 先描....