大数据知识_大数据学习笔记

Clickhouse+Spark+Flink一体化实时数仓（开源） 模拟环境配置 2核心4g腾讯云 （spark默认只有300mb内存占用最大处理200w行....

深入浅出理解kafka原理系列之：自动提交和手动提交 一、kafka消费者提交的内容二、自动提交三、自动提交代码示例四、手动提....

使用阿里云服务器搭建这个hadoop集群，踩得坑人已经傻了，浪费了我快一周的时间。 1.准备环节 准备三台阿里云服务器 Namenod....

一.问题描述 获取登录日志,怎样查询一个人是否连续几天登录? 二..数据 张三,2021-11-28 10:30:00 李四,2021-11-28 10:30:00 ....

Kata Containers介绍         Kata Containers 是轻量级虚拟机的一种新颖实现，可无缝集成到容器生态系统中。 Kata Cont....

高可用高性能日志收集系统平台搭建 在传统的访问日志分析系统中, 数据采集效率较低且日志采集目录不能被递归监听, 存储 系....

四．搭建数据仓库 数仓搭建分为 Ods（数据运营层）数据原始层，最接近数据源中数据的一层 Dwd（数据仓库层）从ODS获得数据建....

目录 一、ELK日志分析系统概述（1）传统日志服务器的优点与缺点和为什么要使用ELK日志分析系统（2）ELK日志分析系统日志的分....

kafka 1.下载 链接：https://pan.baidu.com/s/1XVFekzTc9W4nUkiWQnIi4A 提取码：roik 2.安装 2.1解压 tar -zxvf kafka_2.12-....

（1）使用管理员账户和密码登录MySQL，使用以下命令： mysql -u debian-sys-maint -p (2)创建web_log数据库，使用以下命令：....

Spark Sql 执行概览 前言Spark Sql执行全过程Spark Sql 实际转换过程Spark Sql逻辑计划执行sql样例Spark sql物理计划 前言 ....

一. spark内存模型和执行计划过程 1. spark内存模型 说明： 总内存分为： 统一内存（60%）和其他内存（40%）。 1. 其中统一....

对于es的更新操作，也是有一定的场景需要更新es中的数据，但并不是可以随意更改，毕竟es的优势是海量数据的查询。 多的不说....

大数据必备技能 根据方向，我总结了一下需要的技能，供你参考，如下： 最基本的是JAVA核心API有关内容，当然有JAVA开发经验....

大数据学习之spark Spark简介 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 Spark 拥有 Hadoop MapReduc....

文章目录 Java后端面试题0 前言1 涉及知识点2 高频面试题2.1 MySQL2.1.1 什么是索引，如何创建索引？2.1.2 索引的分类？2.1.....

前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙....

背景 刚学习Flink没多久，之前用Spark做WordCount实现排序很简单，因为Spark做的WC是简单的批处理，直接排序就完事了，但是F....

大数据理论与实践2 分布式协调服务Zookeeper 大数据理论与实践3 分布式文件系统HDFS 大数据理论与实践4 分布式资源管理系统Y....

Spark中的transformation和action、element和partition transformationactionelement和partitions Spark中transformation和a....