大数据系统知识_大数据系统学习笔记

报错信息 WARN jdbc.HiveConnection: Failed to connect to hadoop101:10000 Error: Could not open client transport wit....

文章目录 问题描述解决办法1. 确保不是数据倾斜2. 利用cache，算子调优3. 资源调优 问题描述 最近在pyspark处理90多G数据的....

1 列存储和行列混存 数据在磁盘中按照列的方式进行组织和物理存储。行存储架构和列存储架构的数据库分别适用于不同的应用，....

【读论文】点云智能研究进展与趋势（2019） 杨必胜 doi: 10.11947/j.AGCS.2019.20190465 文章目录 摘要：关键词：点云大数....

接下来就是consul的使用，在使用上实际上和zookeeper并无什么差别 首先是服务提供者： Pom 将zookeeper换掉：     org.s....

目录 一、安装RabbitMQ 二、集成案例 1、为通信的服务添加依赖 2、配置yml 三、直连交换机实现 1、配置类  2、发送消息的类....

异常信息 Hive外部表执行或HDFS集群拷贝异常： Cannot obtain block length for LocatedBlock org.apache.hive.service.cli.....

GBase 8a的列存和行列混存 数据在磁盘中按照列的方式进行组织和物理存储。面对海量数据分析的磁盘I/O瓶颈，分析型数据库把表....

RabbitMQ进行简单的消息发送和消费 在完成该功能之前，需要在虚拟机上下载安装rabbitmq，并且通过网页可以访问到rabbitmq se....

1、发布确认原理 生产者将信道设置成 confirm 模式，一旦信道进入confirm模式，所有在该信道上面发布的消息都将会被指派一....

为什么要讲这个故事呢? 因为那是一个云厂商影子，走出自我，在突破中迎来新生，对行业的发展有着很重要的现实意义。况且从20....

“伴随着实时化浪潮的发展和深化，Flink 已逐步演进为实时流处理的领军技术和事实标准。Flink 一方面持续优化其流计算核心能....

目录 第10章 数据聚合与分组操作 10.1  GroupBy机制 10.1.1 遍历各分组 10.1.2  选择一列或所有列的子集 10.1.3 使用字....

钉钉，正在重新思考自己真正的价值——答案不是规模、不是流量、不是过去20年里消费互联网的“成熟”游戏规则，而是更能切实....

GBase 8a MPP Cluster为非对称部署的联邦架构，三大核心组件均可单独部署，其中GCluster调度集群和GCWare管理最大节点数为64....

Es 安装 安装docker Mac OS 安装 [注：系统需先安装 brew 工具]： brew install --cask docker 查看docker是否完成安装 do....

大数据技术——Hadoop Hadoop概述Hadoop 运行环境搭建1.Hadoop概述 1.1Hodoop是什么？ 1）Hadoop 是一个由Apache基金会所开....

目录 一、学习目标 二、权限的概述 2.1 权限的基本概念 2.2 为什么要设置权限? 2.3 L....

Flink里面时间分类 事件时间EventTime（重点关注） 事件发生的时间事件时间是每个单独事件在其产生进程上发生的时间....

RabbitMQ之手动应答消息 1.为什么需要手动应答 当消费者完成一个任务需要一段时间，如果其中一个消费者处理一个长的任务并且....