大数据系统知识_大数据系统学习笔记

认识ABTest 1、认识ABtest ABTest是互联网企业中应用于Web开发的一种科学的对比分析功能；是统计抽样与统计实验在互联网企业....

说明：本篇文章只会介绍搭建hadoop集群比较核心的部分，hdfs、yarn和mapreduce部分。 介绍： （1）版本是hadoop3.X版本。 （....

schema on write与schema on read schema on write（写时模式）        作用于数据源到数据汇聚存储之间，典型使用....

目录 Hadoop102中安装Hadoop解压hadoop包添加环境变量 Hadoop目录本地模式运行wordcount Hadoop102中安装Hadoop 解压hadoop....

目录 一、使用spring-data方式进行操作elasticsearch1.1 新增1.2 查询-所有1.3 查询-排序1.4 分页查询1.5 搜索-等值查询-Ter....

1.修改 etc/hadoop/mapred-site.xml文件 先备份该文件 cp mapred-site.xml mapred-site-bk.xml 修改文件 vi mapred-site.xml....

服务节点分成了临时节点和持久节点 停止8004后，立刻再查[zk: localhost:2181(CONNECTED) 2] ls /services 会发现8004还在注....

开发常用文件资源（网盘） ElasticSearch华为云下载地址ElasticSearch: https://mirrors.huaweicloud.com/elasticsearch/?C=....

//TODO 获取jdbcSink的工具类 将数据写入Clickhousepublic class clickHouseUtil { public static SinkFunction getJdbcSi....

mysql 8.0 安装记录 mysql 安装信息： 用root 安装依赖 yum -y install libaio libaio-devel 下载mysql安装包 nohup wget ht....

一、数据采集 1.ETL，数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。 开源工具：A....

文章目录 RabbitMQ目录核心部分高级部分集群其他总结 RabbitMQ目录 核心部分 1、RabbitMQ概述 2、RabbitMQ之简单模式-Hell....

文章目录 RabbitMQ如何防止消息丢失及重复消费一、消息丢失1.1、生产者没有成功把消息发送到MQ1.1.1、confirm（发布确认）机....

hive初始化元数据的时候出现 Error：FUNCTION ‘NUCLEUS_ASCII’ already exists解决方法 执行 schematool --initSchema -db....

hadoop版本hadoop-2.7.7，spark版本spark-2.2.0-bin-hadoop2.7，搭建步骤如下： 1.配置hadoop的环境变量  F:igdatatoolhado....

BigDicimal大数据类* 包;java.math.* 创建对象的方式* public static BigDecimal valueOf(double val):包装浮点数成大....

目录 0 需求 1 数据准备 2 求解 3 小结 0 需求 1 数据准备 数据 1aa2aa3aa4d5c6aa7aa8e9f10g建表 create table a( id....

1、再次运行官网例子 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep input output ....

1 搭建ElasticSearch 1.1 下载ElasticSearch镜像 docker pull elasticsearch:7.6.2 1.2 创建挂载目录 mkdir -p /mydata/elas....

分布式事务： 指事务的操作位于不同的节点上，需要保证事务的ACID特性。eg: 下单场景下，库存和订单如果不在同一节点上，就....