大数据知识_大数据学习笔记

个人学习整理，所有资料来自尚硅谷 B站学习连接：添加链接描述 MapReduce-Partition分区 1.1 Partition分区 问题引出： ​ ....

这个版本有些错误，整体思路上的错误，正确的版本中会直接使用该错误版本中的一些细节思路，所以还是建议先理解该错误版本，....

一.向HDFS写数据的过程 客户端通过 Distributed FileSystem 模块向 NameNode 发起RPC（远程过程调用）建立通讯，NameNode ....

导语   MapReduce作为Hadoop核心编程模型，在Hadoop中，数据处理的核心就是MapReduce程序设计模型。下面就来分享一下MapRe....

HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作 一、MapReduce实现基本SQL操作的原理1、join....

今天继续更新Java基础语法。        1、 我们目前在写程序的时候，数据值都是固定的，但是实际开发中，数据值肯定是变....

大家好，我是雷恩Layne，这是《深入浅出flink》系列的第二篇文章，我旨在用最直白的语言写好flink，希望能让所有看到的人一....

es在查询数据时返回命中数据总条数一般默认是1万条，超过1万返回total也只有1万条，这时候做分页总数便有些不方便，因此可以....

API 连接相关 获取通道 getChannel() 关闭连接 close(通道) 生产消费相关 发送简单消息 easySend(通道, 队列名, 数据字符串)....

kettle 学习视频一、ETL 了解(数据仓库技术)二、Kettle(工具)三、Kettle脚本流程四、Kettle组件五、Kettle目录六、Kettle界....

IDEA中开发SparkSQL 实际开发中,都是使用 IDEA 进行开发的。 添加依赖 org.apache.spark spark-sql_2.12 3.0.0 ob....

文章目录 介绍：八大算法+TF.IDF相似项发现PageRank链路分析聚类（层次聚类+K-means聚类）层次聚类K-means聚类 完美匹配社....

一、虚拟机准备 1、创建虚拟机 hostname：hadoop01，内存8ghostname：hadoop02，内存4ghostname：hadoop03，内存4g 2.、修改....

如果我们的文档对象结构如下： { "id":"123", "sex":"male", "extra":[ { "name":"chinese",....

前言 本文的环境和条件：GLSurfaceView + OpenGL ES 2.0 代码结构 Activity视图使用GLSurfaceView；GLSurfaceView使用自定义....

Kettle 组件使用 表输入文本文件输出循环循环job注意点 java代码压缩文件邮件判断表是否存在Switch/case 存在BUGSQL脚本按....

老李在上篇，简单介绍了如何通过套用公式，规范化定义数据指标。 指标命名随意，增加沟通成本！套用这个公式，学会规范化定....

大数据-玩转数据-Spark-RDD编程基础-RDD操作（python版） RDD操作包括两种类型：转换（Transformation）和行动（Action） 1....

有借鉴，借鉴来源同上一条博客，侵删。 map public class StepFourMapper extends Mapper { DecimalFormat df = new Deci....

文章目录 1. Executor内存逻辑架构2. Executor 界面内存计算3. UnrollMemory理解4. 参考 1. Executor内存逻辑架构 堆内....