还有在机械进建和AI的技术趋向下，，，，，，，，对推算能力的需要是呈几何级数上升的，，，，，，，，为了满足日益复杂的神经网络和深度进建模型，，，，，，，，数据中心会存在大量的散布式推算集群，，，，，，，，但大量并行法式的通讯延长，，，，，，，，则会极大影响整个推算过程的效能。。。。。

另表为相识决数据中心内爆炸式增长的数据存储和读取效能问题，，，，，，，，利用以太网融合组网的散布式存储越来越受到迎接。。。。。但由于存储网络中数据流以大象流为主，，，，，，，，所以一旦因拥塞造成丢包，，，，，，，，将会引发大象流沉传，，，，，，，，不仅降低效能，，，，，，，，还会加沉拥塞。。。。。

所以早年端用户的履历和后端利用的效能来看，，，，，，，，眼下对于数据中心网络的要求是：延长越低越好，，，，，，，，效能越高越好。。。。。

为了降低数据中心内部网络延长，，，，，，，，提高处置效能，，，，，，，，RDMA技术应运而生，，，，，，，，通过允许用户态的利用法式直接读取和写入远程内存，，，，，，，，而无需CPU染指屡次拷贝内存，，，，，，，，并可绕过内核直接向网卡写数据，，，，，，，，实现了高吞吐量、超低时延和低CPU开销的成效。。。。。

当前RDMA在以太网上的传输和谈是RoCEv2，，，，，，，，RoCEv2是基于无衔接和谈的UDP和谈，，，，，，，，相比面向衔接的TCP和谈，，，，，，，，UDP和谈越发急剧、占用CPU资源更少，，，，，，，，但其不像TCP和谈那样有滑动窗口、确认应答等机造来实现靠得住传输，，，，，，，，一旦出现丢包，，，，，，，，依附上层利用查抄到了再做沉传，，，，，，，，会大大降低RDMA的传输效能。。。。。

所以要想阐扬出RDMA真正的机能，，，，，，，，突破数据中心大规模散布式系统的网络机能瓶颈，，，，，，，，势必要为RDMA搭建一套不丢包的无损网络环境，，，，，，，，而实现不丢包的关键就是解决网络拥塞。。。。。

为什么会产生拥塞

产生拥塞的原因有好多，，，，，，，，下面列举了在数据中心场景里比力关键也是比力常见的三点原因：

收敛比

进行数据中心网络架构设计时，，，，，，，，从成本和收益两方面来思考，，，，，，，，无数会采取非对称带宽设计，，，，，，，，即高低行链路带宽不一致，，，，，，，，互换机的收敛比单一说就是总的输入带宽除以总的输出带宽。。。。。以全发国际万兆互换机RG-S6220-48XS6QXS-H为例，，，，，，，，下行可供服务器输入的带宽是48*10G=480G，，，，，，，，上行输出的带宽是6*40G=240G，，，，，，，，整机收敛比为2:1。。。。。而25G互换机RG-S6510-48VS8CQ，，，，，，，，下行可供服务器输入的带宽是48*25G=1200G，，，，，，，，上行输出的带宽是8*100G=800G，，，，，，，，整机收敛比是1.5:1。。。。。

也就是说，，，，，，，，当下联的服务器上行发包总速度超过上行链路总带宽时，，，，，，，，就会在上行口出现拥塞。。。。。

说PFC之前，，，，，，，，我们能够先看一下IEEE 802.3X（Flow Control）流控的机造：当接管者没有能力处置接管到的报文时，，，，，，，，为了预防报文被抛弃，，，，，，，，接管者必要通知报文的发送者临时终场发送报文。。。。。

如下图所示，，，，，，，，端口G0/1和G0/2以1Gbps速度转发报文时，，，，，，，，端口F0/1将产生拥塞。。。。。为预防报文迷失，，，，，，，，开启端口G0/1和G0/2的Flow Control职能。。。。。

▲端口产生拥塞的打流模型

当F0/1在转发报文出现拥塞时，，，，，，，，互换机B会在端口缓冲区中列队报文，，，，，，，，当拥塞超过肯定阈值时，，，，，，，，端口G0/2向G0/1发PAUSE。。。。。，，，，，，通知G0/1临时终场发送报文。。。。。

G0/1接管到PAUSE帧后临时终场向G0/2发送报文。。。。。暂停功夫长短信息由PAUSE帧所携带。。。。。互换机A会在这个超时领域内期待，，，，，，，，或者直到收到一个Timeout值为0的节造帧后再持续发送。。。。。

IEEE 802.3X和谈存在一个弊端：一旦链路被暂停，，，，，，，，发送方就不能再发送任何数据包，，，，，，，，若是是由于某些优先级较低的数据流引发的暂停，，，，，，，，了局却让该链路上其他更高优先级的数据流也一路被暂停了，，，，，，，，其实是得不偿失的。。。。。

如下图中报文解析所示，，，，，，，，PFC在基础流控IEEE 802.3X基础上进行扩大，，，，，，，，允许在一条以太网链路上创建8个虚构通路，，，，，，，，并为每条虚构通路指定相应优先级，，，，，，，，允许单独暂停和沉启其中肆意一条虚构通路，，，，，，，，同时允许其它虚构通路的流量无中断通过。。。。。

▲PFC和谈报文结构解析

PFC将流控的粒度从物理端口细化到8个虚构通路，，，，，，，，别离对应Smart NIC硬件上的8个硬件发送队列（这些队列定名为Traffic Class，，，，，，，，别离为TC0,TC1,...,TC7），，，，，，，，在RDMA分歧的封装和谈下，，，，，，，，也有分歧的映射方式。。。。。

RoCEv1

这个和谈是将RDMA数据段封装到以太网数据段内，，，，，，，，再加上以太网的头部，，，，，，，，因而属于二层数据包。。。。。为了对它进行分类，，，，，，，，只能使用VLAN（IEEE 802.1q）头部中的PCP(Priority Code Point)域3 Bits来设置优先级值。。。。。

单一来说，，，，，，，，在二层网络的情况下，，，，，，，，PFC使用VLAN中的PCP位来对数据流进行分辨，，，，，，，，在三层网络的情况下，，，，，，，，PFC既能够使用PCP、也能够使用DSCP，，，，，，，，使得分歧数据流能够享受到独立的流节造。。。。。当下数据中心因多选取三层网络，，，，，，，，因而使用DSCP比PCP更拥有优势。。。。。

PFC死锁

固然PFC可能通过给分歧队列映射分歧优先级来实现基于队列的流控，，，，，，，，但同时也引入了新的问题，，，，，，，，例如PFC死锁的问题。。。。。

PFC死锁，，，，，，，，是指当多个互换机之间因微环路等原因同时出现拥塞,各自端口缓存亏损超过阈值，，，，，，，，而又相互期待对方开释资源，，，，，，，，从而导致所有互换机上的数据流都永远阻塞的一种网络状态。。。。。

正常情况下，，，，，，，，当一台互换机的端口出现拥塞并触发XOFF水线时，，，，，，，，数据进入的方向（即下游设备）将发送PAUSE帧反压，，，，，，，，上游设备接管到PAUSE帧后终场发送数据，，，，，，，，若是其本地端口缓存亏损超过阈值，，，，，，，，则持续向上游反压。。。。。如此一级级反压，，，，，，，，直到网络终端服务器在PAUSE帧中指定Pause Time内暂停发送数据，，，，，，，，从而解除网络节点因拥塞造成的丢包。。。。。

但在特殊情况下，，，，，，，，例如产生链路故障或设备故障时，，，，，，，，BGP路由沉新收敛期间可能会出现短暂环路，，，，，，，，会导致出现一个循环的缓冲区依赖。。。。。如下图所示，，，，，，，，当4台互换机都达到XOFF水线，，，，，，，，都同时向对端发送PAUSE。。。。。，，，，，，这个时辰该拓扑中所有互换机都处于停流状态，，，，，，，，由于PFC的反压效应，，，，，，，，整个网络或部门网络的吞吐量将变为零。。。。。
 

利用ECN实现端到端的拥塞节造

当前的RoCE拥塞节造依赖ECN(Explicit Congestion Notification，，，，，，，，显式拥塞通知)来运行。。。。。ECN最初在RFC 3168中界说，，，，，，，，网络设备会在检测到拥塞时，，，，，，，，通过在IP头部嵌入一个拥塞批示器和在TCP头部嵌入一个拥塞确认实现。。。。。

RoCEv2尺度界说了RoCEv2拥塞治理(RCM)。。。。。启用了ECN之后，，，，，，，，网络设备一旦检测到RoCEv2流量出现了拥塞，，，，，，，，会在数据包的IP头部ECN域进行象征。。。。。

▲IP报文头ECN字段结构

这个拥塞批示器被主张终端节点依照BTH(Base Transport Header，，，，，，，，存在于IB数据段中)中的FECN拥塞批示标识来诠释意思。。。。。；；；；痪浠八担，，，，，，当被ECN象征过的数据包达到它们正本要达到的主张地时，，，，，，，，拥塞通知就会被反馈给源节点，，，，，，，，源节点再通过对有问题的Queue Pairs（QP）进行网络数据包的速度限度来回应拥塞通知。。。。。

ECN交互过程

▲ECN交互过程示意图

• 发送端发送的IP报文象征支持ECN（10）；；；；；

• 互换机在队列拥塞情况下收到该报文，，，，，，，，将ECN字段批改为11并发出，，，，，，，，网络中其他互换机将透传；；；；；

• 接管端收到ECN为11的报文发现拥塞，，，，，，，，正常处置该报文；；；；；

• 接管端产生拥塞公告，，，，，，，，每ms级发送一个CNP（Congestion Notification Packets）报文，，，，，，，，ECN字段为01，，，，，，，，要求报文不能被网络抛弃。。。。。接管端对多个被ECN象征为统一个QP的数据包发送一个单个CNP即可（体式划定见下图）；；；；；

• 互换机收到CNP报文后正常转发该报文；；；；；

• 发送端收到ECN象征为01的CNP报文解析后对相应的流（对应启用ECN的QP）利用速度限度算法。。。。。

RoCEv2的CNP包体式如下：

▲CNP报文结构

值妥贴心的是，，，，，，，，CNP作为拥塞节造报文，，，，，，，，也会存在延长和丢包，，，，，，，，从发送端到接管端经过的每一跳设备、每一条链路城市有肯定的延长，，，，，，，，会最终加大发送端接管到CNP的功夫，，，，，，，，而与此同时互换机端口下的拥塞也会逐步增多，，，，，，，，若发送端不能实时降速，，，，，，，，依然可能造成丢包。。。。。建议拥塞公告域的规模不要过大，，，，，，，，从而预防由于ECN节造报文交互回路的跳数过多，，，，，，，，而影响发送端无法实时降速，，，，，，，，造成拥塞。。。。。

总结

RDMA网络正是通过在网络中部署PFC和ECN职能来实现无损保险。。。。。PFC技术让我们能够对链路上RDMA专属队列的流量进行节造，，，，，，，，并在互换机入口（Ingress port）出现拥塞时对上游设备流量进行反压。。。。。利用ECN技术我们能够实现端到端的拥塞节造，，，，，，，，在互换机出口（Egress port）拥塞时，，，，，，，，对数据包做ECN象征，，，，，，，，并让流量发送端降低发送速度。。。。。

从充分阐扬网络高机能转发的角度，，，，，，，，我们通常建议通过调整ECN和PFC的buffer水线，，，，，，，，让ECN快于PFC触发，，，，，，，，即网络还是持续全速进行数据转发，，，，，，，，让服务器自动降低发包速度。。。。。若是还不能解决问题，，，，，，，，再通过PFC让上游互换机暂停报文发送，，，，，，，，固然整网吞吐机能降低，，，，，，，，但是不会产生丢包。。。。。

在数据中心网络中利用RDMA，，，，，，，，不仅要解决转发面的无损网络需要，，，，，，，，还要关注精密化运维，，，，，，，，能力应对延长和丢包敏感的网络环境。。。。。有关MMU的精密化治理技术以及基于INT的网络可视化技术可参考往期文章。。。。。