
首先说下我们的业务:我们是做第三方支付的,收单那边有很多数据,技术选型上选择了灵活方便的mysql,通过强大的分表分库中....
1.1、MapReduce概念: MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。MapR....
国内的互联网面试,恐怕是现存的、最接近科举考试的制度。 为什么会是这样呢?简单来说,国内IT岗位的应聘者太多了,如果清....
1、分布式锁 在我们进行单机应用开发时,涉及到同步时,我们都是采用synchronized或者Lock方式解决多线程间的共享数据问题。....
HBase基础 ** HBase是Apache旗下一个高可靠性、高性能、面向列、可伸缩的分布式数据库。** CAP理论 1.Consistency(一致性....
idea远程调试spark gif演示 下有教程 idea版本 连接hdfs 连接hadoop
博主在上一篇博客中介绍了ElasticJob的事件追踪、整合Spring Boot以及部署ElasticJob-Lite-UI: ElasticJob‐Lite:事件追踪....
RabbitMQ持久化与预取值 1、概念2、队列如何实现持久化3、消息实现持久化4、不公平分发5、预取值 1、概念 刚刚我们已经....
window产生数据倾斜指的是数据在不同的窗口内堆积的数据量相差过多。本质上产生这种情况的原因是数据源头发送的数据量速度不....
什么是hive? hive是有Facebook开源用于解决海量数据化日志的数据统计工具 hive定义? hive是基于hadoop的一个数据仓库工具....
Flink 是一个分布式系统,需要有效分配和管理计算资源才能执行流应用程序 运行时由两种类型的进程组成 一个 JobManager一个....
整体架构图 data-azkaban-web 前端页面 data-azkaban-web-back 后台数据控制端,执行状态刷新等等。 data-workflow-mgmt ....
Hive介绍 Hive是Hadoop生态系统中必不可少的一个工具。它是建立在Hadoop体系结构上的。SQL抽象是主流数据离线处理工具。Hive....
文章目录 1. 定义表1.1 create 建表1.2 Describe 查看表的属性1.3 Disable 停用表1.4 Exists查看表是否存在1.5 alter 增/改....
在Hive 3.0.0以及之后,Hive Metastore便可独立于Hive单独运行,可作为各数据的元数据中心。本文介绍使用Docker运行Hive Sta....
如何处理缓存和高效处理 1 自主管理内存 Flink从一开始就选择了使用自主的内存管理,避开了JVM内存管理在大数据场景下的问....
前言 相关文章 《01-kafka单机部署》 《02-kafka集群搭建》 >> 更多kafka常见问题 进入文集 nohup启动(不推荐) nohup /....
文章目录 Hadoop优化1、HDFS多目录1.1 NameNode的本地目录可以配置成多个,且每个目录存放内容相同,进而增加可靠性。1.2 Da....
前两天上班摸鱼刷b站的时候,发现一个野生技术UP主,看视频内容判断此人应该是腾讯员工,职级好像还不低,也不知道是T几。他....
hbase是apache旗下一个高可靠性、高性能、面向列、可伸缩的分布式数据库。 利用hbase技术可以在廉价的pc服务器上搭建大规模....