大数据知识_大数据学习笔记

Kafka 分布式的单位是 partition，同一个 partition 用一个 write ahead log 组织， 所以可以保证 FIFO 的顺序。不同 partit....

@JIAQI 第一章 大数据平台环境搭建 在指定主机上完成Hadoop完全分布式、Spark、Flink、kafka、flume的安装配置 赛前准备 主....

文章目录 3.3、MySQL3.3.1、什么是数据库3.3.2、数据库的分类3.3.3、基本操作3.3.3.1、登录MySQL3.3.3.2、退出MySQL3.3.3.3....

本博客是在VMware15.5pro、hadoop-2.7.5、jdk1.8.0、hbase-1.2.10，下进行的 hbase-1.2.10-bin.tar.gz下载地址：Index of /d....

centos6.7下的Phoenix配置 一.下载与解压phoenix 官网下载phoenix的地址:http://phoenix.apache.org/download.html 这里因为....

在多年取数中，第一次遇到需要用笛卡尔积join的场景，记录一下      场景一：      描述：取10月每日近三十天的购物情....

LEAD(createtime, 1) over(partition by masterid, talker order by unixtime desc) lastendti

Kafka （原创不易，你们对阿超的赞就是阿超持续更新的动力！）（以免丢失，建议收藏，阿超持续更新中......）（------------....

点击上方蓝字关注我们 高能物理数据处理系统的自主可控终于实现！ 基于国产处理器的高能物理数据处理系统实现了大规模的....

分布式流平台Kafka 文章目录 分布式流平台Kafka 前言一、Kafka流式数据平台二、使用步骤1.分区模型2.消息模型3.分布式模型....

再均衡原理 再均衡rebalance是在kafka使用中需要特别注意的一个知识点。新版kafka使用消费者协调器和组协调器对再均衡行为进....

kryo序列化比java序列化更快更紧凑，但spark默认的序列化是java序列化并不是kryo序列化，因为spark并不支持所有序列化类型，....

1、下载文件 链接：https://pan.baidu.com/s/1JFClYVEIft2qxs-smQWAhA  提取码：1998 2、解压文件夹 3、根据下图进行操作 ....

安装Hadoop并搭建好Hadoop集群环境 Spark分布式集群的安装环境，需要事先配置好Hadoop的分布式集群环境。请参考： (10条消息....

一、搭建zookeeper集群 1.创建挂载目录 mkdir -p $HOME/data/docker/{zk01} mkdir -p $HOME/data/docker/zk01/{conf,data,da....

ElasticSearch7.15部署教程 1.安装open jdk 最低版本为1.8，使用java -version查看 openjdk version "1.8.0_312"OpenJDK Run....

shell是在控制台执行的脚本代码，它是客户端访问HDFS的方式之一。 它是由两大部分组成， a. 一个是Hadoop头部指令（特定的hd....

分片、路由、数据写入过程 分片和路由分片如何使用？(和数据写入过程有关) 数据写入过程(重要!!!)1.分段存储为什么要引入分....

1 数组 容器：存储数据。 数组概念：数组用于存储数据长度固定的容器，保证多个数据的数据类型要一致。 1. 创建数组时，必须....

前提: 安装了 hadoop(提供数据的存储HDFS) 和 mysql (作为hive的元数据库)。 mysql新建了hive的用户。 用户名为 hive ， 密....