NVMe over TCP 香吗？

什么是NVMe？

NVM Express（NVMe）

全称是non-volatile memory express

或称非易失性内存主机控制器接口规范

NVMe是专门为NAND、闪存等非易失性存储设计的

NVMe协议建立在高速PCIe通道上

那什么又是NVMe over Fabric？

NVMe over Fabrics也称为NVMeoF

NVMeoF实现NVMe标准在PCIe总线上的扩展

实现远距离传输

支持数据中心级网络存储

以此来挑战SCSI在SAN中的统治地位

NVMeoF支持多种传输网络

主要包括FC、InfiniBand、RoCE v2、iWARP和TCP

其中InfiniBand、RoCE v2(可路由的RoCE)

就像赛车可以在各种路面上行驶

是理想的Fabric

原因在于它们支持RDMA

RDMA就是赛车道

可以发挥赛车最大的性能

RDMA的主要优势就是提高处理效率，降低时延

缺点就是，如果你家没有赛车道

就得花重金重建一个

NVMe over TCP又是什么？

NVMe-oF协议一开始没有TCP的支持

于是当用户向NVMe-oF 转型的时候

很多已有的网络设备无法使用

这样会导致NVMe-oF协议的接受度下降

在用户不以性能为首要考量的前提下

显然已有NVMe-oF协议对硬件的要求

会给客户的转型造成障碍

使得用户数据中心的更新换代不能顺滑地进行

而NVMe over TCP协议的出现解决这一问题

不一定非要建赛车道上

在高速路上一样跑

它能够在降低部署成本和设计复杂度的同时

提供更高的性能

本质上，NVMe over TCP使用简单高效的TCP/IP结构

将NVMe扩展到了整个数据中心

FASS+NVMe over TCP

FASS是大道云行基于全闪存介质

自主开发的分布式块存储软件

可广泛应用于

大型在线交易系统、大数据采集与分析

4K/8K视频编辑、5G数据应用

AI人工智能等行业的高速数据处理需求

在块存储协议上，

除了目前支持的

NVMe over RDMA（InfiniBand、RoCE v2）、

iSCSI等协议外，

近期又增加了新成员，

NVMe over TCP，

旨在更好地对接基于现有TCP网络的用户

FASS可实现同时支持

NVMe over RDMA和NVMe over TCP两种协议，

在同一存储集群RDMA和TCP网络的双业务网的并行运行。

NVMe over TCP 、NVMe over RDMA、iSCSI对比

那么，NVMe over TCP 、NVMe over RDMA、iSCSI之间的性能到底怎样呢？

我们内部使用同种硬件环境，进行了一轮对比测试。

组网环境：

硬件配置

测试结果

1、单客户端-4k随机单卷IOPS：

▶️单卷性能对比

2、单客户端-4k随机单卷延迟：

▶️单卷延迟对比

3、多客户端-4k随机多卷IOPS：

▶️多卷性能对比

由测试结果可以看出

NVMe over RDMA在4k随机读写上

性能最高，延迟最低

NVMe over TCP次之

在单卷性能上虽然有较大差距

但多卷性能已经接近NVMe over RDMA

iSCSI由于协议本身局限性，

在性能和延迟上大幅低于前两种协议。

总结

NVMe over TCP只是一种传输绑定，

无需修改用户现有网络基础架构即可支持。

而RDMA（例如，RoCE v2），

虽然可以具有较低延迟，较高的性能。

但要增加一定的价格和维护成本。

所以在决定投资时，

应该综合权衡性能差异,成本，规模等因素。

而随着以NVMe SSD为介质的存储系统

（全闪存储、分布式全闪等）大量在数据中心使用。

我们认为，作为传统的iSCSI协议，

将逐渐被性能更好

同样可以使用TCP网络的

NVMe over TCP协议所取代。

更多精彩内容，点击即可获取