大数据知识_大数据学习笔记

1、kafka高效的原因： 零拷贝技术： 零拷贝主要的任务就是避免CPU将数据从一块存储拷贝到另外一块存储，主要就是利用各种零....

问题： 第一次在SpringBoot项目中使用Redis和RabbitMQ，pom依赖和配置文件都检查完了没有问题，但是直接点主函数运行会报错....

阻塞队列 BlockingQueue是一个队列接口，ArrayBlockingQueue等是它的实现类，ArrayBlockingQueue是底层是数组；生产者和消费....

安装过程 https://www.cnblogs.com/saryli/p/9729591.html rabbitmq和erlang的版本配合 https://www.cnblogs.com/gne-hwz/p/....

文章目录 前言部署filebeat登录kibana查看日志总结 前言 上篇文章讲了使用ECK部署Kubernetes使用ECK部署Elasticsearch8.0和....

这个是着重要了解的，关系这我们架构设计和技术选型的依据 zookeeper数据模型Znode-数据节点 概念：数据信息都被保存在一....

目录 OpenGL ES 3.0 学习——2D着色器语言基础知识绘制纯色背景JAVA版本C++版本 绘制圆点、直线、三角形JAVA版本C++版本 ....

一：为什么学习zookeeper？ 1. 进程管理 我们可以通过zookeeper进行协调多个分布式进程之间的活动。 我们在分布式环境中，在....

一、什么是延时队列 延时队列相比于普通队列最大的区别就体现在其延时的属性上，普通队列的元素是先进先出，按入队顺序进行....

1.创建源kafka主题和目标kafka主题： 2.编写读写kafka的处理代码如下: from pyspark import SparkConffrom pyspark.sql im....

目录 什么是数据加密？ 数据加密如何工作？ 常用的加密技术类型有哪些？ 对称加密方法 非对称加密方法 散列法 5种常见加密算....

第一步：介绍消息队列的作用 消息队列的作用： 解耦，多个系统或者模块中，互相调用很复杂，维护麻烦，就可以用到消息对列。....

目前序列化领域中，谷歌的 protobuf 应该是性能好，效率高的了，并且 protobuf 支持多种语言，可跨平台，跨语言 但使用起来....

一.Java模块技术点 1.数据库 关系型数据库：mysql 缓存型数据库：redis、mongoDB 2.框架 spring、mybatis、springBoot、spri....

HDFS常见shell命令 记得先启动集群 1.基本语法 ​ hadoop fs 具体指令 或者 hdfs dfs具体指令（两个是完全一样的） 2. 常用....

在供需两侧推动下，中国轻食代餐市场不断壮大。资本的青睐、传统食品商家的入局、新锐品牌的顺势而起、年轻人的追捧，推动轻....

背景：在数据库运维过程中对大量数据进行备份，每次全量备份，随着业务数据不断积累，全量备份后的文件大小也会逐渐增加，需....

文章目录 一、概述二、应用场景三、集成Spark生态系统的使用四、发展史五、从词频统计功能着手入门1.spark-submit执行2.spar....

介绍 The Elastic Stack。包括 ElasticSearch、Kibana、Beats 和Logstash(也称为ELK Stack)。能够安全可靠地获收任何来源、....

今天在启动zookeeper集群时,出现了一个问题— Starting zookeeper … FAILED TO START 昨天还好好的,今天… 查找原因~ 由于....