前沿技术知识_前沿技术学习笔记

文章目录 Hadoop的概念及发展历史 Hadoop名字的由来 Hadoop的概念 Hadoop发展史 Hadoop的应用现状 A....

一，整合原理 1，HiveOnSpark Hive是一个Sql解析引擎，其不具备计算能力，Hive将Sql解析为物理执行计划，将物理执行计划转换....

没错这又是一次血案，不过是在测试环境发现的，还好不是上次线上导致的CPU300%，这次及时发现，避免了线上血案，不过我还是....

一、rqalpha简介 rqalpha是米筐量化开源的从数据获取、算法交易、回测引擎、实盘模拟、实盘交易到数据分析的程序化交易框架....

Timer（定时器）是 Flink Streaming API 提供的用于感知并利用 Processing Time/Event Time 变化的机制。Ververica blog上给....

目录 一、问题描述二、解决方法 一、问题描述 SpringBoot 集成 Elasticsearch 时报错 Elasticsearch built-in security fea....

小伙伴们，你们好，我是老寇 目录 一、前提条件 二、安装过程 一、前提条件 192.168.1.1 (安装kafka，点点我) 192.168.1....

文章目录 批量发送消息SpringBoot整合RocketMQ，集群、广播消息发送普通消息消费者消费者1 consumer-group-1 （集群）消费者....

文章目录 功能需求1.导入依赖和配置1.导入依赖2. 配置Kafka修改consumer配置文件spring中配置服务连接端口与consumer 3....

scp -r拷贝jdk、hadoop 1.hadoop1002进入/opt/module/目录下 [admin@hadoop1002 hadoop-3.1.3]$ cd /opt/module/ 2.在hadoop....

/*mapPartitions 和map算子是一样的,只不过map是针对每一条数据进行转换,mapPartitions 针对一整个分区的数据进行转换 1.map....

1.自我供述         哈罗大家好，我是涤生哥。蓦然回首做了很多年大数据，也经历了一线大厂，中型公司。从毕业一个J....

1.1、Kafka定义 kafka传统定义： kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时....

当我们想要查看hadoop的日志文件时点击logs 出现这种情况，翻译下来就是：未启用聚合。在 hadoop104：33157 上试用节点管理....

说明 本文只为说明功能，除十二节外，案例数据并不连贯。 一、 HIVE是什么 HIVE是基于Hadoop的一个数据仓库工具，它是一个可....

小伙伴们，你们好，我是老寇 目录 一、下载文件 二、解压文件 三、移动文件到/usr/local 四、创建文件夹并授权 五、修....

（1）在起始的/opt 目录下建立software文件和module文件，software文件用来下载安装包，下载后的安装包·可以·解压到module....

文章目录 伪分布式配置 创建hadoop用户 更新apt 安装SSH、配置SSH无密码登陆 安装Java环境 安装 Had....

文章目录 消息队列应用场景rocketmq为什么选择RocketMQ消息队列RocketMQ所拥有的功能rocketmq应用场景应用解耦流量削峰数据....

非HA模式下的Apache Yarn在重启以后,8088端口默认是看不到之前运行过的历史任务的,如果想要看到历史任务,只需要在yarn-site.....