一、推理场景和MoE模型引入网络新诉求

2025岁首，，，，，，，，DeepSeek-V3颁布，，，，，，，，迅速引发国内表的宽泛关注和部署热潮。。。。。。作为主题基础设施之一，，，，，，，，散布式推理网面对全新的需要。。。。。。整体来看，，，，，，，，推理与训练的流量差距、MoE模型架构的引入以及DeepSeek开源技术规划等多沉成分，，，，，，，，影响了网络建设的方向和要求。。。。。。

传统浓密模型的训练与推理流量中，，，，，，，，95%以上为Tensor Parallel（TP）通讯，，，，，，，，重要在机内高带宽域通过all-reduce实现，，，，，，，，机表低带宽域仅在同号卡间执行低流量的数据并行（DP）和流水线并行（PP）通讯。。。。。。而DeepSeek选取的MoE（Mixture of Experts）模型架构显著扭转了流量特点。。。。。。训练和推理阶段均不选取TP通讯，，，，，，，，取而代之的是大规模专家并行（EP）通讯，，，，，，，，训练阶段EP流量占比超过95%，，，，，，，，推理阶段则达到100%。。。。。。EP通讯逾越多个凹凸带宽域，，，，，，，，且选取all-to-all通讯模式，，，，，，，，通讯结构复杂且流量巨大，，，，，，，，对网络机能提出了更高、更差距化的要求。。。。。。

DeepSeek模型参数规模达到6710亿，，，，，，，，在推理部署中引入了PD分离和大规模EP并行，，，，，，，，推动满血版高机能推理走向散布式。。。。。。相比传统单机推理，，，，，，，，散布式推理带来了显著差距，，，，，，，，使得推理流量模式与散布式训练更为靠近，，，，，，，，但两者在流量特点上依然存在显著区别。。。。。。

通讯流量可由以下公式估算：（minibatch大幼 × 高低文长度 × 暗藏层维度）× 节点数 × （dispatch_alltoall通讯次数 × FP8字节数 + combine_alltoall通讯次数 × BF16字节数）× GPU掌管的层数。。。。。。下表统计重要EP流量作为参考。。。。。。

训练场景流量模式固定且明确，，，，，，，，单次迭代总流量高达315GB，，，，，，，，单次EP通讯流量约112MB。。。。。。

推理场景流量受用户输入影响，，，，，，，，颠簸较大。。。。。。Prefill阶段以4K高低文、batch size为4推算流量大幼，，，，，，，，单次迭代总流量约57.09GB，，，，，，，，单次通讯流量与训练相近；；；；；；；；Decode阶段以128并发推算，，，，，，，，单次迭代流量显著降低至约1.2GB，，，，，，，，单次通讯流量仅为几MB，，，，，，，，Prefill与Decode阶段流量差距显著。。。。。。

基于以上全新且复杂的网络需要，，，，，，，，深刻鉴别和分析DeepSeek推理网络的关键技术，，，，，，，，是保险推理高机能、低成本与高靠得住性的关键。。。。。。下文我们将从低网络时延、高效网络运维和低成本组网角度，，，，，，，，发展介绍DeepSeek推理网络关键技术。。。。。。

二、低时延网络助力推理高吞吐

凭据上述流量分析，，，，，，，，Decode阶段的单次通讯流量仅为3.5MB/7MB。。。。。。结合DeepSeek官方开源通讯库DeepEP的机能，，，，，，，，当前场景下Decode阶段的dispatch通讯时长在100us内，，，，，，，，combine通讯时长在200us内。。。。。。Decode阶段的SLO通常要求低于50ms，，，，，，，，但EP通讯次数高达116次，，，，，，，，每次通讯城市导致时延叠加，，，，，，，，因而对网络时延提出了很高的要求。。。。。。综上，，，，，，，，在Decode阶段，，，，，，，，很少的单次通讯流量、很短的通讯时长、很高的SLO要求都对网络提出了较低的时延需要。。。。。。

H800网络时延对Decode吞吐的影响

H20网络时延对Decode吞吐的影响

上图是对4K/1K高低文，，，，，，，，1K输出的Decode场景，，，，，，，，在H800/H20设备下，，，，，，，，以128 batch作为场景，，，，，，，，进行的网络时延对Decode吞吐影响仿真。。。。。。如图所示，，，，，，，，当网络侧产生1ms的时延增长时，，，，，，，，无论是H800还是H20，，，，，，，，在分歧的高低文场景下，，，，，，，，吞吐城市产生巨大影响，，，，，，，，吞吐降落幅度高达80%左右，，，，，，，，险些已经直接导致当前Decode节点不成用。。。。。。当网络上产生100us的时延时，，，，，，，，4K高低文场景下，，，，，，，，吞吐降落可能达到20%+。。。。。。由此可见，，，，，，，，Decode节点对网络时延的敏感度很高。。。。。。在DeepSeek大规模EP并行all-to-all通讯模式下，，，，，，，，网络时延的重要影响成分是负载平衡和拥塞节造：

如上图所示，，，，，，，，在大规模EP的DeepSeek推理场景，，，，，，，，EP域的通讯可能横跨多个Leaf，，，，，，，，流量走向Spine，，，，，，，，容易产生典型的ECMP哈希不均问题，，，，，，，，导致较高动态时延。。。。。。且DeepSeek的MoE模型推理易产滋事俘间负载不一致和事俘内专家负载不一致问题，，，，，，，，在网络上阐发为流量中大幼流混合。。。。。。该景象更容易加剧ECMP不均导致的动态时延问题，，，，，，，，欠安的负载平衡战术，，，，，，，，在网络上容易引入100us+甚至更高的动态时延。。。。。。如上文分析，，，，，，，，这样的动态时延水平对吞吐的影响可能达到20%+。。。。。。在DeepSeek官方场景中，，，，，，，，选取IB互换机和CX网卡的Adaptive Routing（AR）技术，，，，，，，，有效缓解了ECMP负载不均问题。。。。。。在RoCE环境下，，，，，，，，端网协同的负载平衡规划在如此刻薄的低时延要求下，，，，，，，，是至关沉要的。。。。。。

此表，，，，，，，，MoE模型的大规模专家并行通讯性质上是一种all-to-all模式，，，，，，，，网络中天然存在incast流量。。。。。。合理的拥塞节造战术可能预防因流量降速或PFC（Priority Flow Control）触发而带来的高动态时延，，，，，，，，保险网络时延的不变性和推理机能。。。。。。

三、高效端网运维保险高可用推理业务

慢故障、hang异常

链路故障

随着DeepSeek推理引入大规模专家并行（EP），，，，，，，，散布式推理集群面对与训练集群类似的故障挑战。。。。。。凭据Meta公开的钻研数据，，，，，，，，以1024卡集群为例，，，，，，，，均匀每7.9幼时会产生一次故障。。。。。。结合故障对推理的影响，，，，，，，，可将故障类型综合为三类：

慢节点异常：故障产生后推理工作不中断，，，，，，，，但部门节点或阶段机能降落，，，，，，，，导致整体推理被拖慢，，，，，，，，阐发为慢节点效应。。。。。。

Hang异常：故障导致推理长功夫卡顿于某一阶段，，，，，，，，工作无法持续推动，，，，，，，，但整体推理仍未中断。。。。。。

链路故障：链路中断直接导致整个推理事俘退出。。。。。。

在慢节点异常和短功夫Hang异常场景下，，，，，，，，固然推理工作仍在运行，，，，，，，，但推理机能显著受损，，，，，，，，TTFT（Time To First Token）和TPOT（Time Per Output Token）指标显著恶化，，，，，，，，吞吐量可能降落50%以上。。。。。。因而，，，，，，，，针对慢故障和Hang异常的实时监控、急剧定位与排查，，，，，，，，对于保险推理机能拥有沉要价值。。。。。。

而在长功夫Hang异；；；；；；；；蛄绰饭收系贾峦评硎路苯油顺龅那榭鱿，，，，，，，，业务影响更为严沉。。。。。。对于大规模事俘部署环境，，，，，，，，可通过要求急剧切换至其他健全事俘，，，，，，，，虽可能就义部门用户履历，，，，，，，，但能保险业务陆续性。。。。。。相较之下，，，，，，，，少量事俘部署（如单个Decode事俘）产生故障时，，，，，，，，往往直接导致业务中断，，，，，，，，严沉影响不变性和用户履历。。。。。。因而幼规模场景下，，，，，，，，故障的定位、逃生和躲避，，，，，，，，是保险业务可用性的关键伎俩。。。。。。

四、高性价比推理组网压榨百万token成本

1.双口网卡双平面组网：

单轨双平面组网

基于上述对网络低时延和高靠得住性的需要，，，，，，，，选取如图所示的单轨双平面组网规划，，，，，，，，可能最大水平保险机能与靠得住性。。。。。。相比传统CLOS架构，，，，，，，，该规划在性价譬喻面更具优势。。。。。。具体特点如下：

优势：

网络结构简洁：流量集中于Leaf互换机，，，，，，，，降低跨互换机通讯复杂度，，，，，，，，显著削减时延。。。。。。

成本效益高：支持铜缆互联，，，，，，，，削减互换机数量，，，，，，，，整体网络投入更低。。。。。。

时延低：数据面链路最长仅为2跳，，，，，，，，最大跳数为1跳，，，，，，，，确保低时延传输。。。。。。

流控需要低：无负载平衡问题，，，，，，，，流量走单一蹊径，，，，，，，，简化流控设计。。。。。。

易于扩大：新增节点无需增长二层网络，，，，，，，，支持集群横向扩大。。。。。。

Bond适配性强：选取bond双平面组网提升网络靠得住性，，，，，，，，且由于无二层组网，，，，，，，，bond规划不会带来额表互换机成本。。。。。。

劣势：

矫捷性受限：Prefill或Decode事俘不成跨Leaf部署，，，，，，，，单事俘最大规模受限于256卡。。。。。。

兼容性不及：组网针对推理流量个性优化，，，，，，，，难以兼容训练与推理一体化场景。。。。。。

KV Cache传输依赖存储网：在选取PD分离部署时，，，，，，，，若是存在跨Leaf的PD事俘，，，，，，，，则必须建设存储网络以支持KV Cache传输。。。。。。

2.Shuffle多平面组网：

基于双网口网卡的双平面组网规划，，，，，，，，单Pod最大规模受限于256卡，，，，，，，，导致矫捷性不及。。。。。。为突破这一瓶颈，，，，，，，，在Server与互换机之间引入Shuffle(光交叉盒)，，，，，，，，实现物理层面的分光。。。。。。依附400Gbps网卡和TH5芯片互换机，，，，，，，，组网规划升级为四平面，，，，，，，，单Pod最大规模扩大至512卡，，，，，，，，满足绝大无数推理部署需要。。。。。。此规划支持更大规模的EP并行和PD事俘数量增长，，，，，，，，且PD事俘无需跨Pod调度，，，，，，，，大幅提升Pod内组网矫捷性，，，，，，，，显著降低对KV Cache存储网络的依赖。。。。。。

将来，，，，，，，，随着800Gbps网卡和TH6芯片互换机的利用，，，，，，，，Shuffle多轨规划可拓展至8轨。。。。。。在保障单GPU享有800Gbps带宽的前提下，，，，，，，，单Pod最大规模？？？？？？衫┐笾1024卡，，，，，，，，满足超大规模推理服务需要。。。。。。该规划在无二层组网架构下，，，，，，，，依然提供很高的PD分离部署矫捷性，，，，，，，，PD事俘无需跨Pod调度，，，，，，，，也无需KV Cache传输专用网络，，，，，，，，实现了卓越的性价迸纂机能。。。。。。

总结

DeepSeek MoE模型的散布式推理部署带来了推理网络架构和机能保险的全新挑战。。。。。。推理阶段的通讯模式和流量特点与传统训练存在显著差距，，，，，，，，尤其是Decode阶段对网络时延敏感，，，，，，，，要求网络具备低时延和高吞吐能力。。。。。。端网协同的负载平衡算法和拥塞节造技术是保险网络机能的关键。。。。。。与此同时，，，，，，，，推理业务高可用性要求美满的故障监控、急剧定位和故障逃生战术。。。。。。针对这些需要，，，，，，，，设计简洁高效且具备高靠得住性的单轨双平面组网规划，，，，，，，，可能在保障机能的同时降低成本。。。。。。将来，，，，，，，，随着DeepSeek及类似大规模MoE模型的宽泛部署，，，，，，，，推理网络的优化和创新将成为主题竞争力。。。。。。