栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

GBase 8a-MPP大规模并行计算技术

GBase 8a-MPP大规模并行计算技术

Gbase 8a的MPP大规模并行计算技术:

Gbase 8a MPP Cluster 为非对称部署的联邦架构,GCluster Cluster 和GCware Cluster 单独部署为一个集群,最大节点数为 64,GNode Cluster 单独部署为一个集群,支持 300 个以上的节点部署,可处理 30PB 以上的结构化数据。

大规模并行计算

 Gbase 8a MPP Cluster 采用 MPP 技术,主要特点有: 

1) 分布式并行计划器,结合集群特征,对算子行进分布式处理,生成适合的分布式执行计划;

2) 通过基于规则和基于代价的优化,保证执行计划的高效;

3) 调度器采用异步 IO 等技术,确保调度的高效、可靠;

高可用能力

Gbase 8a MPP Cluster 通过冗余机制来保证集群的高可用特性:

1)   可提供 1 个或 2 个副本数据冗余;

2)   副本间数据自动同步;

3)   复制引擎自动管理数据同步;

4)   多分片机制降低节点故障的木桶效应;

5)   节点发生故障时,系统自动切换至其它节点进行工作,保证业务连续性;

6)   支持双活集群部署。

 集群副本数和分片数可进行灵活配置,可配置副本分片到集群的任意一个节点上,可以根据配置在主机性能高和存储空间大的节点分配更多的主本和副本。

 当节点出现异常时,可以将异常服务器的负载均匀分布在副本所在的几台正常的服务器上。这样就最大限度防止由于故障切换后木桶效应而引起的显著的性能抖动。

 节点故障对应用透明,不会中断正在执行业务,一旦故障结点恢复正常,Gbase 8a MPP Cluster 会从其他节点上的数据恢复该节点数据,在完成更新后立即提供服务。

高性能扩展能力

Gbase 8a MPP Cluster 能够通过增加服务器节点对系统的计算和存储能力进行扩容,且扩展过程可进行监控、暂停、恢复、取消等灵活的监控及管理;系统支持在线扩展,性能线性提升,无需中断当前系统的运行,且支持一次扩展多个节点;可支持实例级、库级、表级等多级别灵活扩展方式。

Gbase 8a MPP Cluster 具备高性能扩展能力:

 1)   在线动态扩展集群节点;

 2)   每个节点可以处理 100TB 有效数据,同时提供计算和存储能力;

 3)   执行调度节点和数据计算节点可以按需独立扩展。

高性能数据加载能力

Gbase 8a MPP Cluster 数据加载功能实现了所有数据运算节点并行处理数据及复本转发技术,具备很高的加载性能:

 1) 在单台数据服务器的情况下,集群加载可以达到数据服务器硬件资源性能的上限;

 2) 随着数据服务器和集群节点数的增加,集群加载性能可以持续提升。

多租户能力

Gbase 8a MPP Cluster 可以通过虚拟集群技术实现租户间的物理或者逻辑隔离。

在虚拟集群内,通过资源管理和资源组灵活配置不同应用和用户的资源配额和查询优先级,同时在完善的权限授权管理机制下,使得不同的应用以及不同类型的任务可以同时运行在一个集群中,但它们相互之间又得到必要的隔离,就好象运行在透明的“沙箱”一样。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/600594.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号