
一、前言: 最近在使用impala组件时,发现有些在hive里有而impala里没有的函数,如 在Hive中有一个UDF为get_json_object,....
Zookeeper学习小总结 zookeeper是什么: zookeeper = 文件系统 + 通知机制 Zookeeper数据结构: 类似于unix文件系统:....
数据库的相关名词 学习数据库了解的基本名词总结 关系:在关系数据库中,实体以及实体之间的联系都是用关系来表示的。也....
MYSQL8.0(windows)修改max_allowed_packet 在编写大文本的数据如果需要存储到数据库里时,经常遇到packet for query is to....
1.http请求头里,expire和cache-control字段含义,说说HTTP状态码 1.1 expire和cache-control字段含义 Cache-Control是HTTP/....
在idea运行hbase创建表的代码,出现运行要很长时间的情况,最后出现以下错误: log4j:WARN No appenders could be found for....
这个是跟着b站视频学了一遍所做的笔记,可供参考,如果也想看视频学习的话不妨就在其中添加一些内容,比自己重新做笔记应该....
kafka学习之安装与入门 kafka概述 Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据....
Hadoop–MapReduce和Yarn namenode和secondarynamenode通讯过程 namenode会保存元数据 元数据: 文件数据 块数据 datanode....
2021SC@SDUSC spout源码分析(二) 2021SC@SDUSC 在计算任务时需要的数据是由Spout提供的,所以Spout可以说是Storm中的消息....
结构化搜索 精确值查找 当进行精确值查找时, 我们会使用过滤器(filters)。过滤器很重要,因为它们执行速度非常快,不会计....
namenode的fsimage与edits文件 引入合并查看 引入 hadoop集群中,namenode管理了元数据。那么,元数据存储在哪里呢? 如....
Kafka 1.kafka是什么 kafka的定义:Apache旗下的一款分布式流媒体框架,用于实时构建流处理应用,他的一个核心功能是作为企....
Hadoop–Yarn 分区和shuffle 分区存了map处理后的数据,该分区数据会交给一个reduce执行后续的数据计算 shuffle是对map的....
一、前言 RabbitMq提供了消息确认机制,主要分为生产者端发送消息确认和消费者端的消费消息确认。 1、生产者端发送消息确认....
我们使用yarn集群作为研究 spark环境准备 yarn环境准备启动Driver启动Executor yarn环境准备 spark的入口类是SparkSubmi....
基于大数据对北京市人口分析监测 1、北京市人口流动情况示意图 2、手机信令分析北京市区县之间人口通勤情况 3、北京市常驻....
中国干式变压器行业市场需求及未来产销需求分析报告2021-2027年 +++HS++++HS+++HS+++HS++++HS++++HS++++HS++++HS+++HS+++HS+....
一,有什么场景提案不被大多数follower所接受? 不被接受的表象:leader没有收到过半的ack 原因: follower宕机 网络延迟 ....
为什么会发生零点漂移? 比如2021-10-10 23:59:59生成的日志文件,然后数据经过第一层的flume采集,加上kafka的缓冲,然后到....