栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > 架构设计

内存计算框架

架构设计 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

内存计算框架


内存计算(In-memory Computing)指采用了各种内存计算在计算过程中让CPU从主内存读写数据,而不是从磁盘读写数据的计算模型。这里的内存技术包括列存储格式、数据分区与压缩、增量写入、无汇总表等方法。目前,内存计算主要是从存储架构(分布式缓存、内存数据库、内存云体系)和计算模型(基于主内存的并行处理、算法下放到数据层)两个方面提出解决方案。
分布式缓存架构:
由多台服务器组成一个缓存服务集群,以多节点集群方式提供缓存服务(物理架构上的分布式)
缓存数据(可看作一个大数据表)分布存储在多台缓存服务器上(逻辑架构上的分布式)
*

*分布式缓存体系应用场景:

1.web页面的缓存。
(二八原则:80%的访问都集中在20%的热数据上,因此可将高频数据预加载至内存)类似于chrome浏览器相关内存加载功能,浏览器算法会提前预判你的浏览地址,预加载至内存,提高点击反应速度,但会大大消耗内存(这也是chrome浏览器特别迟内存的原因)
2.应用对象缓存
缓存系统作为ORM框架的二级缓存对应用访问提供服务,目的为减轻数据库负载压力,加快访问速度。
3.状态变量缓存
包括Session会话及应用横向扩展时的状态数据等,这类数据是难以恢复的,要求有高可用性,多用于高可用集群应用。
4.并行处理
有大量中间计算结果需要共享。
5.事件处理
针对事件流的连续查询和实时处理
6.极限事物处理
为事务型业务提高吞吐率,低延时的解决方案,支持高并发事物请求处理,多用于铁路、金融服务、电信等领域(今后我会从金融领域详细讲解)

内存技术

1.数据压缩技术
包括字典编码算法(*就是为经常出现字符型难以处理的数据属性作编号,保存其编号,能大大减少存储空间,提高访问效率)、高效压缩存储、数据操作
2.列存储结构
包括内存数据格式、内存索引等技术
(列存储在查询时不需要将全部数据读入内存;
字典编码压缩使得列存储减小了压缩空间,提高了查询效率;
列存储bitmap操作能够一次快速高效地定位到多条数据;
因为各列记录之间没有依赖关系,非常利于并行化)
3.分区
对数据表划分多节点并行处理,分布式缓存系统主要采用水平划分和垂直划分的方式
4.无汇总表(无需做数据汇总操作)
5.只插入差异数据
为了提高访问效率通常只插入差异化数据(分为主表Main和差异表Delta,主表是高度压缩的完整数据,支持读;差异表只包含少量新增数据,支持写数据操作…系统会定期将差异表中数据更新至主表)

Memcache工作机制

Memcache是一个有代表性的高性能分布式内存对象缓存系统,通过缓存数据来提高访问效率。
Mecache是分布式缓存系统的名称,Mecacheds是缓存服务器程序。
Mecache分布式计算架构可以将一台机器上的多个Mecached服务器端程序或者分散部署在多个机器上的Mecached服务器程序组成服务端Server。
后面将会详细说明内存数据库、内存云MenCLoud、Spark内存计算。
知识点源于《大数据分析与计算》清华大学出版社
加入了自己对知识点的理解

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/909243.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号