为了获得最高的存储性能，NVMe/TCP标志着SSD网络的下一步。

在数据中心开始从硬盘驱动器过渡到固态驱动器（SSD）后不久，NVMe协议就开始支持高性能、直连PCIe SSD。NVMe紧随其后的是NVMe over Fabrics（NVMe oF），它旨在高效地支持超规模远程SSD池，有效地取代直连存储（DAS），成为云基础设施中分类存储的默认协议。

最近，基于TCP的NVMe已经出现，它提供了一种更强大的NVMe技术，在降低部署成本和降低设计复杂度的同时保证了高性能。本质上，nvmeovertcp使用简单高效的TCP/IP结构将NVMe扩展到整个数据中心。

进一步了解数据中心技术：

• 人工智能如何创建自动驾驶数据中心

• 4个基本边缘计算用例

• 数据中心培训、招聘需要改变，以满足人员需求

• 无服务器计算：准备好了吗？

商业和技术咨询公司Capgemini North America的IT主管埃里克·基林格（Eric Killinger）说：“能够在高带宽、低延迟的情况下进行通信，同时在存储阵列之间实现物理隔离，然后添加一个包含TCP协议的普通交换网络进行传输，这将改变游戏规则。”云Hyperscaler已经采用了这项技术，取代了以前已有2年和3年历史的新SSD技术，为数据分析和物联网提供了更大的查询访问能力，”他说。

背景：NVMe的出现和NVMe的发展

当第一批使用NVMe ssd构建的阵列到达时，存储速度得到了巨大的提升，但是这些设备仍然通过基于SCSI的主机连接与服务器进行通信。部署的NVMe可以跨交换结构支持基于NVMe的块存储设备的远程直接内存访问（RDMA）。

“这是一种专门为固态存储优化的高性能存储网络协议。。。技术研究公司IDC的基础设施系统研究副总裁Eric Burgener说：“它提供了更低的延迟、更高的带宽、并行性和更高的效率。”。

的NVMe可用于不同类型的网络传输，包括光纤通道（FC）、以太网和InfiniBand。在以太网中，有不同的传输选项，包括RDMA over Converged Ethernet（RoCE）、iWARP以及TCP。

缺点是FC、InfiniBand、RoCE和iWARP选项都需要定制的主机总线适配器和驱动程序，这使得它们的实现和维护既困难又昂贵。”nvmeovertcp是一个真正的行业标准，它与几乎所有企业服务器上都提供的标准聚合以太网适配器配合使用。此外，大多数主要的Linux变体现在在其标准发行版中都包含了一个nvmeovertcp驱动程序。

“这是一个已发布和接受的标准，这意味着从长远来看，它将主导NVMe的部署，”Burgener说它的实现成本也较低，不需要标准Linux或以太网适配器之外的升级计划，但是它的延迟比RoCE要高一些，RoCE是迄今为止广泛部署的另一种以太网选项。”

RoCE和iWARP都支持RDMA，而FC和TCP则不支持RDMA。这种支持RDMA的能力允许稍微降低延迟，但是所有这些方法都比基于普通SCSI的存储网络技术（如光纤通道（FC）和iSCSI）提供了显著的性能改进

NVMe/TCP部署和使用

采用NVMe/TCP的一个主要原因是提供一个低延迟的共享存储解决方案。

“如果你有一个基于NVMe的全闪存阵列，但仍然通过基于SCSI的存储网络连接到服务器上，那么你可能会留下很多性能问题，而且你的固态存储资源使用效率也不高，”Burgener说如果您希望将基于NVMe的全闪存阵列的性能一直提供给您的应用程序，则需要存储网络的NVMe。”

对于大多数组织来说，最终的传输选择将取决于已经部署的任何技术或规模要求的性能。

“FC是满足后一种要求的最佳传输方式，但随着高带宽以太网的每一个新版本的推出，这种区别就缩小了，因为以太网能够处理更多的。。。“更高带宽的存储工作负载，”Burgener说有一些对性能非常敏感的应用程序，使用FC作为NVMe的传输层会做得更好，但随着时间的推移，它们会越来越少。

如果一个企业已经拥有一个FC网络，那么在其上安装NVMe oF就相对容易，因为许多组织已经这样做了。然而，大多数商业绿地部署将选择使用以太网，TCP最终将在那里胜出，Burgener说。

在应用程序方面，“我们可能会及时看到大量基于TCP的NVMe，用于AI/ML驱动的大数据分析工作负载，特别是如果它们本质上是实时的，”Burgener说[采用]有意义的另一个地方是，环境已将大量工作负载整合到单个存储阵列上，并且需要能够在高工作负载密度下提供大规模性能。”

虽然AI/ML驱动的大数据分析应用正在增长，但该领域仍处于相对新兴的阶段。更直接的是，NVMe/TCP在基于flash的超大存储部署环境中获得了越来越大的吸引力，特别是在必须通过高带宽交换网络的现有投资快速访问大量低延迟数据的情况下。

Killinger说：“Hyperscalers是这项技术的天然消费者，因为它可以实现闪电般的数据访问，并允许数据分布在多个数据中心吊舱中，提供电网、冷却和本地化的高可用性体系结构好处，而无需普通光纤网络建设带来的额外成本。”。

NVMe/TCP还可以允许采用者利用交换网络技术的现有投资，这些技术已经商品化并可从许多原始设备制造商处获得。”Killinger说：“与Infiniband或光纤通道相比，连接多个绑定10G交换以太网端口的每个端口的成本使得利用NVMe的TCP堆栈实现成为可能。”。

Burgener指出，许多高端存储采用者已经致力于FC存储网络，并且已经或正在计划升级到RoCE。然而，这种情况在未来几年可能会发生变化。

Burgener说，随着存储基础设施越来越多地转向固态存储，客户也越来越关心基础设施的效率，基于TCP的NVMe将明显优于SCSI，而且成本低廉，易于实现。

NVMe over TCP可用性

NVMe及其规范由NVM Express，Inc.拥有和维护，NVM Express，Inc.是一个由网络、存储和其他IT相关公司组成的财团。NVMe规范于2011年发布，它定义了主机软件如何通过PCI-Express（PCIe）总线与非易失性内存通信，目前已成为pciessd所有外形尺寸的行业标准。NVMe/TCP于2018年获得NVM Express consortium的批准。

从目前的情况来看，NVMe/TCP支持主要来自网络供应商，如Mellanox Technologies（现在归NVIDIA所有），以及一些存储初创公司，包括Lightbits Labs、Excellero、Pavilion Data和Infinidat。SSD芯片制造商Kioxia（以前是东芝的一部分）也支持TCP上的NVMe。

NVMe/TCP可用性预计将在未来几年快速增长。”大多数主要的企业级存储供应商还没有推出它，但可能会在未来12到18个月内推出。

目前的一个障碍，短期，大规模的NVMe对TCP的采用也是一个原因，它很可能成为一个长期的成功。

Killinger说：“大多数IT组织至少都在尝试公共云服务，估计有超过90%的企业在一个或多个公共云中有一些业务。”。同时，IT刷新率呈下降趋势，许多公司没有预算足够的资金用高端NVMe技术刷新老化的存储基础架构。”然而，这些公司中的一些正在寻求公共云服务提供商来取代他们的企业IT服务，而这正是基于TCP的NVMe将蓬勃发展的地方，其增长速度将是企业IT购买力的数倍。

展望未来，Burgener看到了NVMe/TCP的光明前景。”但（领养率）可能要到2022年或2023年底才会真正开始上升，”他预测说。

Killinger还乐观地认为，NVMe/TCP最终将成为主流技术。”我看不出通过TCP的NVMe没有理由不蓬勃发展，甚至在未来几年加速SSD的部署，”他说。

Killinger预计，SSD存储原始设备制造商将很快进行大规模的市场推广，他们渴望通过TCP在NVMe上展示其产品的性能。”对于合适的IT公司副总裁来说，这将足以左右他们的采购决策，”他说。