大数据知识_大数据学习笔记

目录 简介1.RocketMQ搭建(基于linux)1.1 安装NameServer1.2 安装Broker1.3 控制台安装 2 .集成Spring Boot测试2.1添加依赖2....

文章目录 Kafka集群部署1 准备2 集群部署2.1 部署规划2.2 上传2.3 解压2.4 集群配置2.4.1 文件配置2.4.2 编写集群启停脚本2.....

什么是spark？ Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 Spark是基于内存计算的通用大规模数据处理....

### 系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之....

10月28日,2021中国知识管理年会暨China MIKE颁奖典礼圆满召开。 参加本次年会的嘉宾有:清华大学技术创新研究中心主任....

一、HDFS数据流 1. 副本节点选择 节点距离：两个节点到达最近的共同祖先的距离综合 第一个副本在Client所处的节点上，如果C....

常规操作elasticSearch映射Mapping 定义映射相当于定义数据字段的类型 查看指定索引的映射： GET /bank/_mapping 创建索引指....

用docker部署python时，项目中用到了hive，所以需要部署sasl， python的docker版本：3.7 最后失败了 Bad version in readMes....

分主题域管理命名规范定义：表的名称需携带表的主题域、业务过程、分层以及分区信息；构建全局的指标字典。 数据中台采用分....

一、背景 前面已经对elasticsearch的核心概念进行比较详细的介绍，但是在实际生产中我们如何使用elasticsearch呢？ 本篇文章....

一、安装 kafka可以通过官网下载：https://kafka.apache.org/downloads kafka根据Scala版本不同，又分为多个版本，我不需要....

因为工作太忙，没有时间排版，原版本是自己总结的word，有需要请私信我。 基础概念 Elasticsearch对应MySQL的对应关系如下....

Hadoop Hadoop就是存储海量数据和分析海量数据的工具。Hadoop到底是干什么用的？YARN 是开源 Hadoop 分布式处理框架中的资源....

日前，中国企业评价协会发布了“2021新型实体企业百强榜”。华云数据凭借突出的数字化发展水平、创新的科技能力、积极履行社....

RabbitMq + Nacos整合 本文档只是简单使用整合，复杂操作还需自行研究 创建父工程:rabbitmqnacos2021 1.选择Maven项目，然后....

一、准备虚拟机 第一台hadoop01的虚拟机ip地址改为：192.168.65.101 第二台hadoop02的虚拟机ip地址改为：192.168.65.102 第....

序列化相信大家都在Java中学习过。那么在Hadoop中有什么区别呢？ 首先在Java中，我们是将数据转化成字节码文件，这样无论什....

vi server.properties 调整 过期时间 log.retention.hours=24 开启日志清理 log.cleaner.enable=ture

kafka采取分片和索引机制，将每个partition分成多个segment，每个segment对应.index和.logindex和log文件以当前segment的第....

1.pandas中的dataframe 1.工作原因，需要从hive读取数据到pandas中进行操作，然后处理完全以后需要再读取到es中。 读取hive....