前沿技术知识_前沿技术学习笔记

第10章　数据中台运营机制企业数据中台搭建好后，如何让数据中台中的数据资产越勇越多，越用越灵活，越用越稳定，这是紧接着....

摘要： 类似于Hive UDF，Flink SQL提供了丰富的函数类型来自定义函数，从而为Flink SQL统计分析复杂的数据格式提供了重要手....

我们在实际工作中，经常要查询一个非常多列的表中除了某一个或者某几个字段之外的其他字段，如果正向输入所有查询字段是一件....

一、什么是DataSource表 二、DataSource表的优势 三、DataSource表的缺点 四、建DataSource表方法   一、什么是DataSource....

问题描述： Hadoop正常运行，但是网页无法进去。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-....

问题：sentinel控制台启动完成，java后台配置也完成，准备了两个接口。测试发现除了实时监控无效，其他的都正常，设置限流也....

开始我的spark之旅~ import findsparkfindspark.init()import pysparkfrom pyspark.sql import SparkSessionfrom pyspark.....

如果把广告主圈出来的那 10w 用户称为种子用户（「seed users」），那么我们可以把需要额外提供的一批相似的用户称之为 「lo....

数据展示 student表 score表 teacher表 course表 在hive中建表导入数据 首先要先在hdfs上为每个数据建一个文件名相同的....

1.拉取镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 2.启动，先启动zookeeper docker run -d -....

首先Docker搭建一个RabbitMQ服务 使用docker-compose搭建rabbitMQ 编写docker-compose文件 version: '3'services:....

企业Spark案例–酒店数据分析实战 数据清洗–过滤字段长度不足的且将出生日期转换成指定格式 数据分析–通过入住时间和入住....

HDFS详解：         1. HDFS概述         2. HDFS的Shell操作         3. Python API操作HDFS     ....

什么是分布式锁？实现分布式锁的常用三种方式 在很多场景中，我们为了保证数据的最终一致性，需要很多的技术方案来支持，比....

在学习Kafka集群启停脚本中，需要写一个kf.sh脚本，但是此前我的环境中没有xcall，xsync等脚本。因此我查询了一些博客，最后....

文章目录 一、模型1.RabbitMQ 的消息模型2.RocketMQ 的消息模型3.Kafka同RocketMQ相同 二、事务处理三、如何确保消息不会丢....

学习Linux的方法 1.首要要建立一个整体的框架，不要上来就扣细节这样会对整体认知不够理解。 2.你不会要掌握所有的命令、但....

系列文章目录 实践数据湖iceberg 第一课 入门 实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式 实践数据湖iceber....

一、安装Logstash 1.解压tar包 cd /data/app/elk/elk-6.8.5tar zxvf logstash-6.8.5.tar.gz 2.配置config目录下的logstash.c....

大数据学习笔记02 Pyspark交互式编程 有该数据集Data01.txt 该数据集包含了某大学计算机系的成绩，数据格式如下所示： Tom,D....