
在面试大数据开发岗位中,Spark是必须具备的技能之一。 最近在复习Spark时,感觉spark发生数据倾斜场景有很多,但是在面试时....
本文来说下Kafka的高性能设计 文章目录 什么是高性能设计Kafka高性能设计的全景图生产消息的性能优化手段批量发送消息消息....
2021年10月26日,老挝国家数字经济协会发起暨第一次筹办会议在老挝万象总理府办公室会议举行。 本次会议是老挝人民民主共和....
这个问题是因为没有启动hive的元数据服务; 一般来说 hive进行连接Mysql数据库的时候有两种方式: 1.使用元数据服务进行连接....
1.引入相关依赖 org.springframework.boot spring-boot-starter-data-elasticsearch ....
在IDEA中使用JavaAPI对Hadoop进行操作 简介一、 Java API相关的简单介绍功能描述文件操作:1. 上传文件2. 新建文件3. 下载文....
HDFS常用命令及基础编程 JunLeon——go big or go home 目录 HDFS常用命令及基础编程 一、HDFS概述 1、什么是HDFS? 2、H....
文章目录 HDFS Shell命令使用1. mkdir:创建文件夹示例1:在分布式主目录下新建文件夹test示例2:在根目录下新建文件夹/test/....
文章目录 环境准备数据定义创建表更改表结构删除表 数据操作putgetscandelete 环境准备 linux+java+zookeeper+hadoop+hbas....
前言 基础篇全部代码和资料已上传到gitee,大家需要可自取: https://gitee.com/da-ji/spring-cloud-learning-notes 点个Star....
文章目录 一. 状态概述:二. 算子状态 Operator State2.1 概述2.2 算子状态数据结构2.3 代码测试 三. 键控状态 Keyed State3....
什么是消息队列? 消息(Message):传输的数据。 队列(Queue):队列是一种先进先出的数据结构。 消息队列从字面的含义来看就....
step_1 — 创建临时表,模拟数据质量监控情况 create table if not exists dataintel_tmp.qzd_20211026_sjzl_v1 as select 0....
Hadoop是什么? Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决,海量数据的存储和海量数据的分析计算问....
大数据搭建平台 免登录设置CentOS7配置静态IP和网关添加主机名与IP地址映射配置网关配置IP地址生成公钥和私钥将公钥拷贝到要....
rabbitMQ消息队列的介绍、安装与基本使用 一、什么是消息队列? 它是消息传输过程中存放消息的容器 二、什么是rabbitMQ? 用E....
熟悉常用的Hadoop操作 一、使用hadoop用户登录Linux系统,启动Hadoop(Hadoop的安装目录为“/usr/local/hadoop”),为hadoo....
A 智能运维中的异常检测与趋势预测 首先按题目要求整理好关键数据 虽然题目只要求用到了几个指标,但是其余指标也都可以用....
题目: 新冠疫情的爆发对人类生命安全及全球经济发展造成了重大影响。虽然现在 国内疫情基本得到有效遏制,但日常防控仍不可....