大数据知识_大数据学习笔记

在我之前的许多文章中，我基本上都已经讲到了这些方面的内容。在今天的文章中，我想针对一些开发还没有自己的系统，比如 cen....

一、服务端安装 官网地址：Presto | Distributed SQL Query Engine for Big Data 1、下载包 2、解压缩 tar -zxvf presto-ser....

微信公众号：运维开发故事，作者：wanger 关于Elastic Stack elasticstack是一个应用套件，原名为ELK Stack，由elastic旗....

HDFS是进行存储的，YARN是进行调度的 1.切换到hadoop下面的etc（配置文件都在etc下面） 2.在hadoop中配置core-site.xml Vi c....

目录 一：准备 二：kafka的基本操作（命令行操作） 一：准备 1.安装kafka 操作：kafka单机和集群（全分布）的安装部署过程_....

Flink CEP 参考地址基本概念pom 依赖code数据源LoginEvent 实体类业务逻辑代码运行效果图 参考地址 flink cep 官网链接 基....

区块链，一个虚幻的构想，却决定了未来互联网的发展方向 火雷神算分析，未来的元宇宙必将是互联网发展的重点走向，而元宇宙....

使用dockerfile制作Apache镜像 树形结构 [root@localhost ~]# tree /apache//apache/├── Dockerfile├── files│ ├....

在我们使用Flume采集数据到hadoop上的时候，由于没有专门更改对应配置文件，容易造成hdfs小文件过多的现象。 这个时候我们就....

一、应用的场景 需要进行异步通信、解除两应用的耦合、冗余存储（生产者流入量大于消费者消耗量）、削封流量（用于解决短时....

“未来，随着机器学习等模型的普遍化应用，模型治理的重要性越发凸显，ModelOps 将成为数据智能系统开发运行过程的标配。”....

目录 前言 一、常见监控软件介绍 1、cactio 2、nagios 3、zabbix (php)(推荐) 二、运维监控平台设计思路 1、思路 2、分层 3....

CDSP是什么？ 《数据安全法》和《个人信息保护法》是数据安全与隐私保护的基本大法和数字经济发展领域的重要基石。为了响应....

DataFrame、DataSet、RDD互转 import cn.doitedu.sparksql.JavaPersonimport org.apache.spark.rdd.RDDimport org.apache.sp....

国家发展改革委重磅发布《关于推进“上云用数赋智”行动 培育新经济发展实施方案》（以下简称《方案》），其中“数字孪生”....

1 写数据流程1.1 写数据流程图解 2 节点距离计算2.1 实例图2.2 原理与实例 3 副本存储节点3.1 集群示例图3.2 实例概述 ....

本系列博客使用hadoop3.1.4 初识hadoop hadoop官网：https://hadoop.apache.org/ hadoop介绍 狭义 hadoop是指Apache一款用j....

问题描述 当系统的服务无法正常运行，查看磁盘空间，发现根目录已经满了 解决过程 1.添加磁盘空间 2.使用fdisk -l查看磁盘....

一，安装虚拟机（CentOS） 1.安装vm15蓝屏（版本和电脑不兼容）下载vm16 2.Centos放在一个文件夹中 二，修改主机名（当前虚....

如今，无论是传统外贸还是新兴跨境电商，都面临着无序竞争的局面，流量饥渴已经成为所有卖家或贸易公司的通病，如何获取高质....