
本文简要讲解MapReduce实例–WordCount代码 MapReduce应用 使用MapReduce的前提: 待处理的数据集可以分解成许多小的数据集....
2021年要开始倒计时了,在这一年里,我们相对于2020年,也有了不少的新变化,今天来做一个年终总结。 有三AI是什么 我们公众....
JDK的安装与卸载 卸载 删除Java的目录,可以从环境变量里找到目录 删除JAVA_HOME环境变量 删除path下关于Java的目录 控....
文章目录 2-网站日志分析案例-日志采集:Flume-Kafka-Flume-HDFS环境安装虚拟机安装安装hadoop安装zookeeper安装过程基本命令....
2021年12月30日,在由芥末堆举办的GET2021“国计民生 教育的发展”教育科技大会上,松鼠Ai合伙人梁静发表了主题为《松鼠Ai智....
1. 行业实践 伴鱼基于 Flink 构建数据集成平台的设计与实现 汽车之家基于 Apache Flink 的跨数据库实时物化视图探索 5 年迭....
前言 学习大数据框架通常都是从wordcount案例开始的,也是学习框架的基础,wordcount虽然简单,如果能彻底搞清楚其运行原理....
18、Follower 和 Leader 状态同步源码 当选举结束后,每个节点都需要根据自己的角色更新自己的状态。选举出的 Leader 更新自....
目录 MQ简介: 核心功能 MQ的分类 P2P模式(安全) Pub/Sub模式(并发) 同类产品 RabbitMQ详解 RabbitMQ简介 RabbitMQ特....
1 默认分组比较器2 分组案例 在Shufflle阶段输入到reduce阶段之前,会进行分组 默认分组规则就是同一个key就会进入同一个re....
16、Zookeeper服务端加载数据源码解析 zk 中的数据模型,是一棵树,DataTree,每个节点,叫做 DataNodezk 集群中的 DataTre....
2021总结 时光匆匆,2021 年又过去了,小时候感觉这是一个科幻的年份,到了现在发现星际旅行没有实现,外星人没有打到,全息....
文章目录 1.概述 M.扩展 1.概述 一个flink程序,如下,但是总共100多个task,然后只有一个没有数据。 第一怀疑是....
1、未优化 select * from product limit 10, 20 0.016秒select * from product limit 100, 20 0.016秒selec....
女友也能学会的Flink —— Mac上搭建Flink 1.14.0环境并编写Demo 1. 准备环境 这里主要介绍Mac系统下的环境搭建,其他操作系....
1.下载安装包 EFAK (kafka-eagle.org) 2.上产压缩包至集群 3.解压压缩包 tar -zxvf kafka-eagle-bin-2.0.9.tar.gz 解压后的....
1、先安装Erlang,再安装RabbitMQ,两者版本要对应 对应关系可参考:https://www.rabbitmq.com/which-erlang.html Erlang/OT....
定义 对于什么是大数据开发,它的定义官方给出的的定义是:链接:https://pan.baidu.com/s/1rTHqQd3tDTO2k1pJXhKkHQ 提取....
一、etc/hadoop/core-site.xml 参数value描述fs.defaultFS名称节点 URIhdfs://host:port 主机:端口io.file.buffer.size1310....