栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

【架构】一款永不重复的高性能分布式发号器,实战nginxpdf

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

【架构】一款永不重复的高性能分布式发号器,实战nginxpdf

零、基本术语

发号器:用于生成唯一流水号(也即俗称的唯一ID)的服务系统,称之为发号器

一、技术选型

UUID

优点:能够保证唯一性

缺点:(1)完全的时间数据=>性能比较差、比较长、占用空间大、间接导致数据库性能下降;(2)无序=>导致B+树索引在写的时候会有过多的随机写操作,不会产生有顺序的append操作,而是需要进行insert操作,这将读取整个B+树节点到内存并在插入该条记录后会将整个节点写会磁盘=>在记录占用空间比较大的情况下,写的性能会明显下降

数据库

单库时(自增字段):局限性在于自增字段完全依赖数据库,会导致数据库移植、扩容、洗数据、分库分表问题

分库分表时(水平伸缩=>自增字段+数据库seq+步长step):缺陷在于服务节点固定(即step固定,继续增加服务节点难以进行扩展)、仍强依赖于数据库(对数据库造成压力)

开源项目-Snowflake

Twitter开源的发号器,缺点在于文档简单、发布模式单一、缺少支持和维护

=>自研:一款通用、高性能发号器产品,具有“全局唯一、粗略有序、可反解、可制造”特性,三种发布模式“嵌入发布模式(jar包)、中心服务器发布模式(服务化场景)、REST发布模式(rest api接口)”

二、基本需求

全局唯一:一般悲观策略是使用锁或分布式锁(性能大大降低),而这里将利用时间的有序性,在时间的某个单元下采用自增序列达到全局唯一

粗略有序:完全有序则涉及到数据的汇聚,需要用到锁或分布式锁,考虑到效率问题采用折中方案即粗略有序,将支持秒级有序和毫秒级有序两种方式

可反解:ID具有时间属性且可反解其他信息量,节省空间

可制造:即支持手工处理,可复制、可恢复、可制造

高性能:ID生成取决于网络I/O和CPU的性能,网络I/O一般不是瓶颈,根据经验单台机器TPS能达到10000/s

高可用:对等集群、重试机制、本地容错方案(即本地依赖)

可伸缩:水平伸缩,支持业务量增长

三、核心设计

发布模式

嵌入发布模式:仅限java客户端,通过嵌入jar包式的原生服务,需提前配置本地机器ID

中心服务器发布模式:仅限java客户端,提供一个服务的客户端jar包,java程序像调用本地api一样调用,但依赖于中心的ID产生服务器

REST发布模式:中心服务器通过Restful API导出服务,非java客户端可使用

ID类型

最大峰值型:秒级有序,秒级时间占用30位,序列号占用20位

字段版本类型生成方式秒级时间序列号机器ID
位数636260-6130-5910-290-9

最小粒度型:秒级有序,秒级时间占用40位,序列号占用10位

字段版本类型生成方式秒级时间序列号机器ID
位数636260-6120-5910-190-9

数据结构

版本:1位,用做扩展位或扩容时的临时方案,默认值0,1则表示扩展或扩容中

ID类型:1位,0-最大峰值型,1-最小粒度型

生成方式:2位,00-嵌入发布模式,01-中心发布模

《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》

【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】 完整内容开源分享

式,02(即二进制10)-REST发布模式,03(即二进制11)-保留未用

时间:最大峰值型-秒级时间30位,230/60/60/24/365=34年;最小粒度型-毫秒级时间40位,240/1000/60/60/24/365=34年

序列号:最大峰值型20位,理论上每秒可最多产生220=1048576个ID,即百万级别;最小粒度型10位,理论上每毫秒最多可产生210=1024个ID,=>最大1024000/秒

机器ID:10位,即最多支持1024个服务器,中心发布模式和REST发布模式一般不会有太多数量机器,按照设计每台TPS为1万/s,10台服务器则可达到10万/s,已经可以满足绝大部分需求;而考虑到内嵌发布模式,对机器需求量很大,因此最多支持1024个服务器

并发

中心服务器和REST发布模式,开销主要涉及网络I/O和CPU操作,ID生成基本上是内存到高速缓存操作,没有磁盘I/O操作,网络I/O是系统瓶颈;但相对于网络I/O,CPU计算速度更是瓶颈,因此ID产生的服务采用多线程方式

多种实现方式,实现ID生成过程中的竞争点time和sequence:

(1)使用concurrent包的ReentrantLock进行互斥,默认实现方式,追求性能和稳定的折中方案

(2)使用传统的synchronized进行互斥,性能较(1)稍逊色一些,通过传入JVM参数-Dvesta.sync.lock.impl.key=true开启

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/658905.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号