大数据知识_大数据学习笔记

安装与配置 简单说下在MacOs上安装kafka的过程；后续部署环境可参考. 第一步：更新brew brew update 注意：不升级可能....

1. 下载资源 我用的是 hortonworks 的版本，其他的也应该类似。 git clone git@github.com:hortonworks/hive-testbench.git ....

数据智能产业创新服务媒体 ——聚焦数智 · 改变商业 随着信息技术的高速发展，数据信息的交互、共享与开放程度持续加快，....

hive UDF函数取最新分区 1.pom文件 org.apache.hive hive-exec 1.2.1 org.apache.had....

导语：“学习的价值不在于记住多少，而在于应用多少”，这是笔者两天前浏览博客时看见的一句话，深有感触。相信有不少uu们正....

NoSQL数据库简介 网页服务器本身依赖于设备的CPU以及内存，如果访问量过大存在CPU及内存压力数据库服务本身依赖于设备的IO操....

自然连接 自然连接（natural join）运算作用于两个关系，并产生一个关系作为结果，自然连接只考虑那些在两个关系模式中都出....

1、代码 package com.gl.testimport org.apache.spark.sql.{DataFrame, SparkSession}object Test { case class Stu(name: ....

Learn Kafka-01入门篇 前言 什么是事件流？ 事件流是人体中枢神经系统的数字等价物。 它是“永远在线”世界的技术基础，在这....

Windows10 安装ES 1、先配置JDK1.8得环境，这是最低要求 2、到ES官网下载ES，这里下载得是7.6.1版本 3、解压下载下来得安装....

rabbitmq(二)：死信队列 1：死信队列的用途（3种情况） 先考虑，死信队列存在的意义。它就像是一个兜底队列，当message出现....

文章目录 ZAB协议（zookeeper atomic broadcast）zookeeper是什么zookeeper 文件系统ZooKeeper命令行Zookeeper Watcher 机制....

操作系统：Linux系统 环境说明：VMware+Ubuntu+JDK8 在输入jps命令后，可能会出现无法启动DataNode的情况，如图。 这种情况....

@KafkaListener(topics = "topics", errorHandler = "errorHandler", topicPartitions={ @TopicPartition(topic = "topic....

nvl() 函数 nvl(score,0) 判断score的值是否为空，如果为空则为0,0为默认值，否则为score本身 split()函数 split(skin_code,....

参考博客： elasticsearch 出现 cluster_block_exception read_only_allow_delete问题_徐代龙的技术专栏-CSDN博客_cluster_b....

RabbitMq学习（一） 准备工作： 1、已经搭建好的RabbitMq服务器 2、idea创建一个空的maven项目并引入依赖 com.r....

笔者最近使用nestjs构造了一个容器镜像，并把日志通过fluentd传到elasticsearch上，在开发环境下，nestjs日志输出类似这样有....

1 、文件格式 文件格式按面向的存储形式不同，分为面向行和面向列的两大类文件格式。 2、 压缩格式 压缩格式按其可切....

8大数据类型 //整数 int num1=10; //最常用 byte num2=20; short num3=30; long num4=30L;//后面加L //小数：浮点数 float n....