
目录 hive第二代客户端 两种模式解读 启动 相关配置文件 前提:启动hadoop集群 初始化元数据库 踩坑 启动metastore 启....
概述: 由于我们基础组件承载的业务后续会有大数据量进来,其中一张核心的数据表占据80-95%读写操作,经过压测....
初步测试可行,后序开发过程是否有坑还在继续实践当中 可以参考官方给出的建议(更具权威性): https://ci.apache.org/pr....
1.单分区 hive> create table person5( > id int, > name string, > likes array, > address map) > partiti....
1. 首先安装 PHP 扩展 amqp 2.Docker 安装 RabbitMq 将以下内容追加到 docker-compose.yml rabbitmq: container_n....
我们在网上冲浪时,都会看到一个概念——Web3.0。Web3.0被公认为是下一个爆点。互联网将延续从Web1.0→Web2.0→Web3.0发展脉....
使用windows的kafka时,需要集成Zookeeper,可以直接使用带Zookeeper的kafka,也可以单独安装Zookeeper,我这里把两种方法都....
目的 实现hive表和hbase表 join 获取我想要的结果表 -- zookeeper地址SET hbase.zookeeper.quorum=192.168.0.7; -- hbase在z....
错误日志 2021-11-10 18:05:44,528 ERROR [HiveServer2-Background-Pool: Thread-6225]: metastore.RetryingHMSHandler (Ret....
在使用rabbitmq的时候出现消息反序列化失败,如下异常: Fatal message conversion error; message rejected; it will be dro....
1.进入flume官网 www.org.apache.flume.com 点击第三个 2.使用kafka前需要先开启 zookeeper zkServer.sh st....
1:dubbo是什么? dubbo的是一个基于Java开发的高性能rpc框架,提供了3大功能,如下: 1:基于接口的远程方法调用(依赖于ne....
废话不多说,先准备三台centos7,然后开始安装 第一步。配置主机名 编辑/etc/hostname分别给三台虚拟机命名,我写的是master....
控制 map 任务数量 为什么要控制 map 数量 我们先来了解下什么情况要设置 map 数量。一般来讲,map 数量默认,不需要我们设....
一.定义 专为大规模数据处理而设计的快速通用的计算引擎,并形成一个高速发展应用广泛的生态系统 二.特点 ....
1 Access denied; you need (at least one of) the RELOAD privilege(s) for this operation 原因 账号需要RELOAD这个服....
superset 使用(二)对接数据源presto遇到的问题 一 、当你在官网上查看使用的命令是 pip install pyhive 你安装完毕之后会....
SparkStreaming Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多,例如:Kafka、Flume、Twitter....
Kafka基本体系 Kafka体系架构 一个典型的 Kafka 体系架构包括若干 Producer、若干Broker、若干 Consumer,以及一个ZooKeepe....