大数据系统知识_大数据系统学习笔记

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 Zookeeper内部的数据模型1.zk是如何保存数据....

目录 一、配置node节点1、更改几台服务器名字（方便识别）2、安装elasticsearch3、安装Elasticsearch-head插件与phantomjs ....

elastic集群： es在6.8以后逐渐开放x-pack功能，所以集群可以开启认证功能。（es不能使用root运行） 集群搭建： vim /usr/lo....

现在是晚上，听着歌，写着博客，这样的寒假很美好，什么时候开学呢？还是个未知数 关于分区：         Hive中分区....

MQ技术众多， 包含RocketMQ、KAFKA、RabbitMQ、ActiveMQ、ZeroMQ等。消息队列已经逐渐成为企业IT系统内部通信的核心手段。它....

一：背景 Spark 任务出现了container内存负载出现OOM 二：问题      Application application_xxx_xxxx failed 2 times....

实时数仓架构图： 离线数仓： 与离线数仓区别： MySQL业务数据采集改用FlinkCDC;FlinkCDC与Maxwell处理方式和Cannal一样通....

目录 基础概念定义特点索引(Index)分片(Shards)副本（Replicas）分配(Allocation) 映射(Mapping)动态映射显式映射常见数据....

关系型数据库的优势 通用性和高性能 保持数据的一致性（事务处理）最小冗余复杂查询如 JOIN成熟的技术 关系型数据库的不足 ....

个人学习整理，所有资料来自尚硅谷 B站学习连接：添加链接描述 百度网盘连接：添加链接描述 1.Hadoop序列化 1.1序列化和反序....

[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535][2]: max virtual memo

随着政策的不断落地，以5G、特高压、城际高速铁路/城市轨道交通、新能源汽车充电桩、工业互联网、大数据中心、人工智能七大....

河南省高等学校 大学生创新训练计划项目申报表 推荐学校： 河南农业大学（盖章） 项目名称： 机器学习在脑卒中检测....

目录  一、简介 二、 API 分层简介 三、结构简介 四、TaskManagers（ task slot简介） 五、内存简介  一、简介      ....

RDD 1、什么是RDD1.1、RDD五大核心属性 2、RDD转换算子2.1、单value2.2、双value2.3、Key-Value 3、RDD行为算子 1、什....

程序员的玩具：兔子没钱。——暮雪绵豆沙 作用 流量削峰。保护服务逻辑解耦。中间件优雅异步。 常用MQ ActiveMQ：老牌。Kaf....

下面代码使用map对所有元素加一，并不会使得list元素改变，也就是新的加一的集合开启了新的空间 val list= List(1,2,3,4,5,6....

springboot整合带账号和密码的elasticsearch 第一步引入elasticsearch依赖 org.elasticsearch.client elasticsearch-re....

datax安装需要的环境 JDK(1.8以上，推荐1.8) Python(推荐Python2.6.X) Apache Maven 3.x (Compile DataX) 1.python环境的安....

import com.alibaba.fastjson.JSONObject;import com.mx.config.mysql.MysqlConfig;import org.apache.spark.api.java.JavaRDD;i