大数据系统知识_大数据系统学习笔记

Datawhale干货  作者：小尧，数据分析师，Datawhale成员 小尧：本科财务类专业毕业后就进入职场打拼，在京东完成了从财务到....

方法一 set hive.auto.convert.join = true; --是否开自动mapjoin set hive.mapjoin.smalltable.filesize;–mapjoin的表size....

本文介绍的的是kafka集群搭建、kafka权限认证（SASL/SCRAM）、整合springboot项目。 1、创建kafka日志和zookeeper文件目录：....

一、安装hadoop 检查系统版本，使用cat /etc/redhat-release命令查看当前系统的版本，确保三台虚拟机的系统版本一致。  检....

1、实现原理： 1）定义一个根节点作为加锁节点，如果该根节点已经存在，当前会话将在根节点下方创建顺序临时节点（若会话非....

1.修改配置文件 Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode ....

记录一次解决中文乱码问题，但严格来说不是我独立解决的，但anyway，解决方式值得被记录。 当时虚拟机里面的数据库是mysql-5....

RabbitMQ安装 RabbitMQ安装整理Add Yum Repositories for RabbitMQ and Modern ErlangInstall Packages with Yum RabbitMQ....

一.概述 rocketMq是消息中间件，通常用于业务上的解藕，消峰。 二.竞品对比 特性ActiveMQRabbitMQRocketMQKafka单机吞吐量....

导读 数据集成的概念，与主要挑战。 CDC技术详解：概念、主流解决方案、以及两个技术流派。 实时增量数据集成的主要开源....

table1中的c1字段是map类型，内容如下： {"id1": "11111","id2": "22222","id3": "33333","id4": "44444",} select c1['....

前言 大家好，关于技术干货，我为大家准备写一份《大数据面试突击系列》文章，先看看到目前为止的进展吧！ 文章传送私回：....

CREATE DATABASE IF NOT EXISTS info DEFAULT CHARSET utf8; USE info; #创建学生表 CREATE TABLE IF NOT EXISTS stu( NO IN....

虚拟机安装zookeeper 安装jdk环境查看版本安装zookeeper 安装jdk环境 yum -y install java-1.8.0-openjdk* 查看版本 java -v....

–创建表，并定义map类型 create table employee(id string, perf map) ROW FORMAT DELIMITED

最近看RocketMQ的时候，了解到v4.5.0之后，broker采用遵循raft协议的复制组来实现数据一致性。虎躯一震，raft协议在现在的脑....

Alluxio介绍 Alluxio是什么？ Alluxio是世界上第一个用于云分析和人工智能的开源数据编排技术。它弥合了数据驱动应用程序和....

点击蓝字 关注我们 K8s 打通了主流公私云之间的壁垒，成为唯一连通公私云的基础架构平台。K8s 是未来云端的趋势，全面拥抱 ....

YARN 1、YARN资源调度器1.1、Yarn基础架构1.2、Yarn工作机制1.3、作业提交全过程1.4、Yarn调度器和算法1.4.1、先进先出调度....

MapReduce 1、MapReduce概述1.1、MapReduce定义1.2、MapReduce优缺点1.2.1、MapReduce优点1.2.2、MapReduce缺点 1.3、MapR....