大数据知识_大数据学习笔记

1、分布式锁 在我们进行单机应用开发时，涉及到同步时，我们都是采用synchronized或者Lock方式解决多线程间的共享数据问题。....

HBase基础 ** HBase是Apache旗下一个高可靠性、高性能、面向列、可伸缩的分布式数据库。** CAP理论 1.Consistency（一致性....

idea远程调试spark gif演示 下有教程 idea版本 连接hdfs  连接hadoop

博主在上一篇博客中介绍了ElasticJob的事件追踪、整合Spring Boot以及部署ElasticJob-Lite-UI： ElasticJob‐Lite：事件追踪....

RabbitMQ持久化与预取值 1、概念2、队列如何实现持久化3、消息实现持久化4、不公平分发5、预取值 1、概念   刚刚我们已经....

window产生数据倾斜指的是数据在不同的窗口内堆积的数据量相差过多。本质上产生这种情况的原因是数据源头发送的数据量速度不....

什么是hive？ hive是有Facebook开源用于解决海量数据化日志的数据统计工具 hive定义？ hive是基于hadoop的一个数据仓库工具....

Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序 运行时由两种类型的进程组成 一个 JobManager一个....

整体架构图 data-azkaban-web 前端页面 data-azkaban-web-back 后台数据控制端，执行状态刷新等等。 data-workflow-mgmt ....

Hive介绍 Hive是Hadoop生态系统中必不可少的一个工具。它是建立在Hadoop体系结构上的。SQL抽象是主流数据离线处理工具。Hive....

文章目录 1. 定义表1.1 create 建表1.2 Describe 查看表的属性1.3 Disable 停用表1.4 Exists查看表是否存在1.5 alter 增/改....

在Hive 3.0.0以及之后，Hive Metastore便可独立于Hive单独运行，可作为各数据的元数据中心。本文介绍使用Docker运行Hive Sta....

如何处理缓存和高效处理 1 自主管理内存 Flink从一开始就选择了使用自主的内存管理，避开了JVM内存管理在大数据场景下的问....

前言 相关文章 《01-kafka单机部署》 《02-kafka集群搭建》 >> 更多kafka常见问题 进入文集 nohup启动（不推荐） nohup /....

文章目录 Hadoop优化1、HDFS多目录1.1 NameNode的本地目录可以配置成多个，且每个目录存放内容相同，进而增加可靠性。1.2 Da....

前两天上班摸鱼刷b站的时候，发现一个野生技术UP主，看视频内容判断此人应该是腾讯员工，职级好像还不低，也不知道是T几。他....

hbase是apache旗下一个高可靠性、高性能、面向列、可伸缩的分布式数据库。 利用hbase技术可以在廉价的pc服务器上搭建大规模....

今天在阿里云服务器上安装了hadoop，当我使用命令同时启动或者关闭多个节点时会提醒我输入密码，而我不知道密码是什么，感觉....

文章目录 1. 结构化搜索 [filter]2. term查询3. filter过滤器的执行原理4. 组合过滤器5. terms查询6. range查询 1. 结构化....

Java本身自带的序列化和反序列化的功能，但是辅助信息占用空间比较大，在序列化对象时记录了过多的类信息。Apache Flink摒弃....