大数据知识_大数据学习笔记

Linux应用的3方面：服务器、系统；云计算大数据； 1：服务器、系统，包括系统集成、系统工程师、运维工程师、云工程师等 ； ....

kafka有三种分区分配策略 1.RoundRobin 2.Range 3.Sticky 一、RoundRobin RoundRobin策略很简单~假设我们有三个Topic10个P....

mall在docker容器下部署涉及到MySQL、Redis、Nginx、RabbitMQ、MongoDB、Elasticsearch、Logstash、Kibana，以及Spring Boot....

文章目录 前言1.Impala概述（1）Impala的概念和优势（2）Impala的缺点及适用场景 2.Impala的安装与入门（1）准备工作（2）....

1.PXE安装一台服务器  域名(example.cn)  主机名: 个人姓名全拼 (比如:个人姓名全拼.example.cn)  IP地址: 10.15.200.94 ....

文章目录 探索性数据分析查看数据量和简单信息加载数据数据大致信息 数据切片分析单变量分析峰度和偏度数据维度的分析水资....

有时我们可能根据某些固定的数据集对流进行过滤、修改、扩充等操作。此时可以通过使用静态dataframe和流dataframe进行join操....

Spark Structured Streaming总体实现流程 我们根据一个简单的例子来查看一下Spark Structured Streaming的总体实现流程。 一....

其他sql格式也在更新中，可直接查看俺的这个系列，要是没有你需要的格式，可在评论或私信我，俺现在一天一看 Oracle转换hiv....

欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客https://blog.csdn.ne....

ClickHouse（上） 前言一、列式存储的优点二、ClickHouse瓶颈三、数据类型四、表引擎4.1 MergeTree4.1.1.分区4.1.2.主键4.1.....

前文 一、CentOS7 hadoop3.3.1安装(单机分布式、伪分布式、分布式)二、JAVA API实现HDFS三、MapReduce编程实例四、Zookeeper....

Doris简介     Doris由百度大数据部研发 ，之前叫百度 Palo，2018年贡献到 Apache 社区后，更名为 doris 。本博客主....

文章目录 一、关于 Hadoop 的 MapReduce二、关于 Map task 、Reduce task 和 Shuffle1、map 任务处理2、reduce 任务处理3、s....

文章目录： 1、搜索引擎的工作原理 搜索引擎的信息来源于互联网网页，通过网络爬虫将整个互联网网页的信息获取到本地，然....

物理分组 今天我们看一个SQL 实现上的技巧，其实这个东西不难，算是一个小技巧，我们知道我们常见的分组统计都是有一个分组....

spark 读parquet文件新增字段后输出parquet文件 自己记录一下 val new_schema = spark.read.parquet(path1).schema.add("col....

大数据基础：HDFS（分布式文件系统）中，NameNode与DataNode的区别 概述DataNodeNameNode 概述 1、hsfs集群有两类节点（管理....

Scala是学习Spark的基础。比java更面向对象。 Scala基于Java的，其编译都依赖于JVM，使得Scala也能够跨平台运行。 Scala的SD....

1.什么是消息队列 消息队列，主要解决异步消息的管理（注册后，短信发送不是必须，可以使用队列）。实现系统之间的双向解耦,....