什么是RDMA？？？？？？？？

      ▲ 传统模式与RDMA模式工作机造对比

如上图，，，，，，在传统模式下，，，，，，两台服务器上的利用之间传输数据，，，，，，过程是这样的：

• 首先要把数据从利用缓存拷贝到Kernel中的TCP和谈栈缓存；；；；；；；；
• 而后再拷贝到驱动层；；；；；；；；
• 最后拷贝到网卡缓存。。。。。。

屡次内存拷贝必要CPU屡次染指，，，，，，导致处置延时大，，，，，，达到数十微秒。。。。。。同使佧个过程中CPU过多参加，，，，，，大量亏损CPU机能，，，，，，影响正常的数据推算。。。。。。

在RDMA 模式下，，，，，，利用数据能够绕过Kernel和谈栈直接向网卡写数据，，，，，，带来的显著益处有：

• 处置延时由数十微秒降低到1微秒内；；；；；；；；
• 整个过程险些不必要CPU参加，，，，，，节俭机能；；；；；；；；
• 传输带宽更高。。。。。。

RDMA对于网络的诉求

RDMA在高机能推算、大数据分析、IO高并发等场景中利用越来越宽泛。。。。。。诸如iSICI, SAN, Ceph, MPI, Hadoop, Spark, Tensorflow蹬爪用软件都起头部署RDMA技术。。。。。。而对于支持端到端传输的基础网络而言，，，，，，低延时（微秒级）、无损（lossless）则是最沉要的指标。。。。。。

低延时

网络转发延时重要产生在设备节点（这里忽略了光电传输延时和数据串行延时），，，，，，设备转发延时蕴含以下三部门：

• 存储转发延时：芯片转发流水线处置延长，，，，，，每个hop会产生1微秒左右的芯片处置延时（业界也有尝试使用cut-through模式，，，，，，单跳延长能够降低到0.3微秒左右）；；；；；；；；
• Buffer缓存延时：当网络拥塞时，，，，，，报文会被缓存起来期待转发。。。。。。这时Buffer越大，，，，，，缓存报文的功夫就越长，，，，，，产生的时延也会更高。。。。。。对于RDMA网络，，，，，，Buffer并不是越大越好，，，，，，必要合理选择；；；；；；；；
• 沉传延时：在RDMA网络里会有其他技术确保不丢包，，，，，，这部门不做分析。。。。。。

无损

RDMA在无损状态下能够满速度传输，，，，，，而一旦产生丢包沉传，，，，，，机能会急剧降落。。。。。。在传统网络模式下，，，，，，要想实现不丢包最重要的伎俩就是依赖大缓存，，，，，，但如前文所说，，，，，，这又与低延时矛盾了。。。。。。因而，，，，，，在RDMA网络环境中，，，，，，必要实现的是较幼Buffer下的不丢包。。。。。。

在这个限度前提下，，，，，，RDMA实现无损重要是依赖基于PFC和ECN的网络流控技术。。。。。。

• RDMA无损网络的关键技术：PFC

▲ PFC工作机造示意图

PFC允许单独暂停和沉启其中肆意一条虚构通路，，，，，，同时不影响其它虚构通路的流量。。。。。。如上图所示，，，，，，当队列7的Buffer亏损达到设置的PFC流控水线，，，，，，会触发PFC的反压： 

• 本端互换机触发发出PFC Pause。。。。。。，，，，并反向发送给上游设备；；；；；；；；
• 收到Pause帧的上游设备会暂停该队列报文的发送，，，，，，同时将报文缓存在Buffer中；；；；；；；；
• 若是上游设备的Buffer也达到阈值，，，，，，会持续触发Pause帧向上游反压；；；；；；；；
• 最终通过降低该优先级队列的发送速度来预防数据丢包；；；；；；；；
• 当Buffer占用降低到复原水线时，，，，，，会发送PFC解除报文。。。。。。

PFC水线设置

互换芯片都有固定的Pipeline（转发流水线），，，，，， Buffer治理处于入芯片流程和出芯片流程的中央地位。。。。。。报文处于在这个地位上时，，，，，，已经知路了该报文的入口和出口信息，，，，，，因而逻辑上就能够分成入方向和出方向别离对缓存进行治理。。。。。。

PFC水线是基于入方向缓存治理进行触发的。。。。。。芯片在入口方向提供了8个队列，，，，，，我们能够将分歧优先级的业务报文映射到分歧的队列上，，，，，，从而实现对分歧优先级的报文提供分歧的Buffer分配规划。。。。。。

▲ 队列Buffer的组成部门

具体到每个队列，，，，，，其Buffer分配凭据使用场景设计为3部门：保障缓存，，，，，，共享缓存，，，，，，Headroom。。。。。。

• 保障缓存：每个队列的专用缓存，，，，，，确保每个队列均有肯定缓存以保障根基转发；；；；；；；；
• 共享缓存：流量突发时能够申请使用的缓存，，，，，，所有队列共享；；；；；；；；
• Headroom：在触发PFC水线后，，，，，，到服务器响应降速前，，，，，，还能够持续使用的缓存。。。。。。

• 保障缓存设置

保障缓存是一个静态水线（固定的、独享的）。。。。。。静态水线的利用率极度低，，，，，，资源亏损却极度大。。。。。。我们在现实部署时建议不分配保障缓存，，，，，，以削减这部门的缓存亏损。。。。。。这样，，，，，，入方向报文直接使用共享缓存空间，，，，，，可提高Buffer的利用率。。。。。。

• 共享缓存设置

对于共享缓存的设置，，，，，，必要选取更为矫捷的动态水线。。。。。。动态水线能凭据当前空闲的Buffer资源，，，，，，以及当前队列已使用的Buffer资源数量来决定能否持续申请到资源。。。。。。由于系统中空闲共享Buffer资源与已使用的Buffer资源都是时刻变动的，，，，，，因而阈值也处于不休改观中。。。。。。相对于静态水线，，，，，，动态水线能更矫捷、有效的利用Buffer及预防造成不用要的浪费。。。。。。

全发国际网络互换机支持基于动态的方式进行Buffer资源的分配，，，，，，对共享缓存的设置分为11档，，，，，，动态水线alpha值=队列可申请缓存量/渣滓共享缓存量。。。。。。队列的α值越大，，，，，，其在共享缓存中可使用的百分数占比也就越高。。。。。。

▲共享水线α值与可使用率对应关系

我们不妨分析一下：

队列的α值设置越。。。。。。，，，，其最大可申请的共享缓存占比就越幼。。。。。。当端口拥塞时就会越早触发PFC流控，，，，，，PFC流控生效后队列降速，，，，，，能够很好地确保网络不丢包。。。。。。

但从机能的角度看，，，，，，过早触发PFC流控，，，，，，会导致RDMA网络吞吐降落。。。。。。因而我们在MMU水线设置时必要拔取一个平衡值。。。。。。

PFC水线到底设置几多，，，，，，是一个极度复杂的问题，，，，，，理论上不存在一个固定的值。。。。。。现实部署时，，，，，，必要我们具体分析业务模型，，，，，，并搭建测试环境进行水线调优，，，，，，找到匹配业务的最相宜的水线。。。。。。

• Headroom设置

Headroom：顾名思义，，，，，，就是头部空间的意思，，，，，，是在PFC触发后，，，，，，到PFC真正生效这一段功夫，，，，，，用来缓存队列报文的。。。。。。Headroom设置多大相宜？？？？？？？？这里与4个成分有关：

• PG检测到触发XOFF水线，，，，，，到机关PFC帧发出的功夫（这里重要跟配置的检测精度以及均匀队列算法有关，，，，，，固定配置是固定值）
• 上游收到PFC Pause。。。。。。，，，，到终场队列转发的功夫（重要跟芯片处置机能有关系，，，，，，互换芯片现实上是固定值）
• PFC Pause帧在链路上的传输功夫（跟AOC线缆/光纤距离成正比）
• 队列暂停发送后链路中报文的传输功夫（跟AOC线缆/光纤距离成正比）

因而Headroom所必要的缓存大。。。。。。，，，，我们能够凭据组网的架构，，，，，，以及流量模型测算得出。。。。。。以100米光纤线 + 100G光？？？？？？？？椋，，，，缓存64字节幼包，，，，，，推算出所需的Headroom大幼是408个cell（cell是缓存治理的最幼单元，，，，，，一个报文会占用1个或者多个cell），，，，，，现实测试数据也吻合。。。。。。当然，，，，，，思考肯定的冗余性，，，，，，Headroom设置建议比理论值稍大。。。。。。

全发国际网络在研发中心搭建了仿照真实业务的RDMA网络，，，，，，架构如下：

▲全发国际网络RDMA组网架构

• 组网模型：大主题三级组网架构，，，，，，主题选取高密100G线卡；；；；；；；；
• POD内：Spine选取提供64个100G接口的 BOX设备，，，，，，Leaf选取提供48个25G接口+8个100G接口的BOX设备；；；；；；；；
• Leaf作为服务器网关，，，，，，支持和服务器间基于PFC流控（鉴别报文的DSCP并进行PG映射），，，，，，同时支持拥塞ECN象征；；；；；；；；
• RDMA仅运行于POD内部，，，，，，不存在跨POD的RDMA流量，，，，，，因而主题无需感知RDMA流量；；；；；；；；
• 为了预防拥塞丢包，，，，，，必要在Leaf与Spine之间部署PFC流控技术，，，，，，同时Spine设备也必要支持基于拥塞的ECN象征；；；；；；；；
• Leaf和Spine设备支持PFC流控帧统计、ECN象征统计、拥塞丢包统计、基于队列的拥塞统计等，，，，，，并支持将统计信息通过gRPC同步到远端gRPC服务器。。。。。。