本文借鉴了国内表大型互联网公司的实际经验，，，，，，总结了一些规划和运营BGP网络的步骤

媒介

在之前的文章《大型数据中心路由和谈选择》中，，，，，，介绍到天堑网关和谈（BGP）已经成为大型数据中心（IDC）优先选择的路由和谈。。。。。。多所周知，，，，，，BGP最初是为分歧自治系统之间的互通设计的，，，，，，而并非面向IDC内部。。。。。。在BGP引入到数据中心场景时，，，，，，也已经出现“不服水土”，，，，，，问题诸多。。。。。。面对这些问题，，，，，，聪明的网络工程师们对BGP做了哪些优化？？？？？？？数据中心BGP网络规划必要思考哪些问题？？？？？？？本文借鉴了国内表大型互联网公司的实际经验，，，，，，抛砖引玉，，，，，，浅显分析一二。。。。。。

大型数据中心组网架构

▲ 图1：大型数据中心Spine-Leaf组网架构（内网）

面对数据中心业务对靠得住性近乎刻薄的要求，，，，，，现代数据中心网络的沉要设计步骤是假定网络设备和链路都是不成靠的：指标在于倒剽些不成靠的设备或者链路出现故障时，，，，，，也能通过自愈解除对业务产生的不良影响。。。。。；；；；；；；；诖耍，，，，，Leaf-Spine （Leaf：叶节点，，，，，，Spine：脊节点)的组网架构已经成为数据中心主流。。。。。。如图1所示，，，，，，这种CLOS多级互换网络为数据中心带来的显著变动是产生了大量的等价设备和蹊径，，，，，，从而解除了单点故障，，，，，，使得网络架构具备高靠得住、高机能以及壮大的横向扩大（Scale-out）能力。。。。。。

在这样的数据中心架构下，，，，，，BGP路由和谈往往会被部署到CLOS网络的所有层级（如图1的TOR，，，，，，Leaf，，，，，，Spine等设备），，，，，，用来为数据中心形成单一、统一的超大规模网络。。。。。。对于BGP的部署来说，，，，，，除了满足IPv4、IPv6路由传递的根基能力表，，，，，， BGP的急剧收敛、矫捷节造、方便运维等能力也是部署设计的关键点。。。。。。

BGP部署设计重点

本文的主张在于为IDC的BGP路由部署设计提供一些步骤参考，，，，，，场景聚焦在IDC内部Underlay路由设计。。。。。。

▲ 图2：数据中心BGP部署设计重点

如图2所示，，，，，，在一个典型的三级CLOS数据中心组网中，，，，，，BGP设计重点大体能够分为两部门：

一、BGP基础能力规划，，，，，，蕴含：

• 为Tier 1-3设备规划AS number；；；；；；；；
• 基础BGP参数配置，，，，，，设备间成立BGP邻居；；；；；；；；
• 为CLOS网络天生ECMP等价路由；；；；；；；；
• 对分歧类型的BGP路由进行路由属性节造；；；；；；；；
• 造订路由传递的规定；；；；；；；；
• 提供IPv4/IPv6双栈能力；；；；；；；；

二、BGP运维能力规划，，，，，，蕴含：

• 使用双向转发检测和谈（BFD）加快故障收敛；；；；；；；；
• 提供不间断的业务能力。。。。。。

BGP基础能力规划

1、AS number规划

BGP的AS number分为公共AS和私有AS。。。。。。在IDC内部，，，，，，固然AS号不会公告给表部网络，，，，，，但为了保险安全性，，，，，，以及一连使用习惯，，，，，，仍推荐使用私有AS号。。。。。。

旧的BGP版本（RFC1771界说）留给AS号的长度领域是2个字节，，，，，，其中用于私有的AS号为1023 个（64512~65534)，，，，，，不及以应酬大型IDC成千上万的网元数量。。。。。。对于这个问标题前有两种解决规划：

• 新的RFC4893《BGP Support for Four-octet AS Number Space》界说了4字节的BGP AS number。。。。。。这使得AS number和IPv4地址一样多，，，，，，其中可用于私有AS的领域达到9千万个（4200000000~4294967294）。。。。。。足以为IDC内部的每台网络设备，，，，，，甚至每台主机分配一个独立的AS number。。。。。。
• 思考到AS number使用的简洁，，，，，，并确保所有设备都能支持，，，，，，推荐使用64512~65534的私有AS号，，，，，，并对AS号码进行全局规划，，，，，，统一个AS number能够被多个设备沉复使用。。。。。。

以下是一个推荐的AS number分配示例：

▲ 图3：IDC AS number分配示例

2、BGP基础参数配置

这部门是数据中心实现BGP互通的基础。。。。。，，，，，推荐如下配置：

BGP邻居成立

BGP是基于TCP来成立衔接的，，，，，，因而必要为BGP指定一个IP地址用于成立BGP会话。。。。。。
在IDC内部推荐使用设备的直衔接口地址成立BGP会话。。。。。。

BGP的Router-id

仅仅是一个标识，，，，，，设置为互换机的治理口地址或者loopback地址都是不错的步骤。。。。。。

BGP计时器

BGP必要使用keepalive新闻来实现会话的；；；；；；；；睿，，，，，确定下一跳的可达性。。。。。。如前文所述，，，，，，BGP最早是设计利用于分歧自治系统（服务商）之间互联的。。。。。。分歧AS之间路由的不变性比急剧收敛更为沉要，，，，，，为了预防路由震荡，，，，，，BGP和谈默认的计时器极度长，，，，，，其keepalive/hold timer别离是60S和180S。。。。。。而在数据中心内部，，，，，，故障的急剧收敛更为沉要，，，，，，推荐选取1S/3S的BGP计时器配置加快收敛。。。。。。BGP还有另表一个沉要的计时器：Advertisement Interval，，，，，，即颁布路由公告的距离。。。。。。在这个周期内的BGP事务会被缓存起来，，，，，，期待计时器到了后再统一发送。。。。。。BGP默认的公告距离是30S。。。。。。在数据中心必要立刻公告变动，，，，，，因而推荐的配置是0 S。。。。。。

以全发国际RGOS软件为例，，，，，，必要在BGP过程下，，，，，，对计时器进行配置：

其他推荐的配置

bgp log-neighbor-changes ：不打开 debug 的情况下纪录BGP 的状态变动信息。。。。。。

3、BGP ECMP

对于CLOS网络而言，，，，，，等价多蹊径是构筑网络靠得住性、不变性的基石。。。。。。

BGP形成等价路由的前提是开启“多径”multipath的个性，，，，，，以全发国际RGOS为例，，，，，，必要配置：

以上只是开启了BGP的多蹊径能力，，，，，，接下来必要利用BGP选路的准则，，，，，，把把多条链路的的下一跳都放入路由表中形成ECMP。。。。。。13条BGP选路准则中，，，，，，两条路由等价并执行负载平衡的判断尺度是：前8个前提都一样。。。。。。在数据中心BGP规划中，，，，，，这前8个前提只必要思考AS_PATH即可，，，，，，由于其他前提在IDC都是一致或者无需关切的。。。。。。

对于AS-PATH属性，，，，，，在缺省情况下是要求精确比力的，，，，，，只有AS-PATH的长度和具体AS Number一样时才可能成为等价蹊径。。。。。。凭据前面的AS Number规划，，，，，，每台TOR都具备分歧的AS号。。。。。。这样Leaf南向去往同组两台TOR设备的路由无法实现负载分管。。。。。。上述问题的解决规划是在Leaf设备上使能AS-PATH 宽松比力，，，，，，以全发国际RGOS为例，，，，，，必要配置：

如前文的AS规划，，，，，，在统一Pod中，，，，，，所有Leaf的AS number一样，，，，，，因而无论是哪一台Leaf设备发送路由，，，，，，在TOR上看到的AS-PATH总是一致的。。。。。。因而Leaf上无需开启宽松比力模式。。。。。。

此表，，，，，，Leaf和TOR之间存在大量的等价邻居，，，，，，占有一致的配置战术。。。。。。现实的部署过程中推荐使用BGP peer-group职能来简化配置。。。。。。

在全发国际RGOS做如下配置实现该职能：

4、BGP路由属性规划

BGP具备丰硕的扩大属性，，，，，，能够实现壮大的路由节造，，，，，，当前IDC中用的较多的是BGP community属性，，，，，，能够很大水平简化路由战术。。。。。。在IDC傍边，，，，，，我们常；；；；；；；；崾褂玫剿接械募迨粜裕，，，，，用来为前缀加上治理的象征。。。。。。私有community使用的是AS:number的体式，，，，，，其中AS是指本地AS号或者对等体AS号，，，，，，而number是指本地分配好的，，，，，，用来暗示能够利用战术的一组集体。。。。。。现实使用中我们能够用更简洁的community象征，，，，，，好比为业务网段打上1:1属性，，，，，，为内网汇总路由打上2:2属性等，，，，，，并基于此做路由传递的精密节造。。。。。。

5、造订路由传递规定

▲ 图4：数据中心BGP路由公告规划

如图4所示，，，，，，多组TOR+Leaf组成一个POD（最幼交付单元，，，，，，Point of delivery，，，，，，作为数据中心根基物理设计单元）。。。。。。Spine掌管横向衔接多个POD，，，，，，而MAN/DCI掌管提供跨区域的互联。。。。。。IDC的BGP路由规划建议如下：

• 北向路由传递

TOR至Leaf至Spine至MAN/DCI，，，，，，逐级公告业务网段+治理网段+Loopback，，，，，，在去堆叠场景时TOR必要向Spine公告主机路由。。。。。。

• 南向路由传递

MAN/DCI至Spine至Leaf，，，，，，传递整个内网的汇总路由，，，，，，好比10.0.0.0/8；；；；；；；；172.16.0.0/12；；；；；；；；192.168.0.0/16。。。。。。而Leaf至TOR，，，，，，除了公告内网汇总路由表，，，，，，还必要公告本Pod的业务网段+治理网段+Loopback（当Leaf上行链路故障时，，，，，，同POD的流量仍能够匹配明细路由，，，，，，通过Spine转发）。。。。。。

值妥贴心的是

目前TOR层级越来越多地使用了去堆叠技术实现服务器双归（推荐参考技术盛宴的另一篇文章《若何实现数据中心网络架构“去”堆叠》）。。。。。。在去堆叠场景下，，，，，，Leaf会从ToR互换机上接管到大量的主机路由（取决于Pod内主机数量，，，，，，可能是数以万计），，，，，，Leaf在TOR之间传递主机路由，，，，，，很可能导致TOR互换机路由容量超限，，，，，，因而必要在TOR的收方向做战术，，，，，，过滤掉其他TOR发过来的主机路由。。。。。。

6、BGP双栈规划

近年来国度大力推动IPv6建设，，，，，，现实上大型IDC私网地址也面对枯竭。。。。。。因而在IDC内部署IPv4/IPv6双栈，，，，，，也是火烧眉毛的需要。。。。。。

BGP自身支持多和谈，，，，，，能够在统一个BGP过程中支持v4/v6双栈。。。。。。通常的做法是为BGP v4和v6邻居别离成立BGP会话，，，，，，但这样相当于增长了一倍的配置和守护工作量。。。。。。现实上，，，，，，BGP v4的update新闻能够通过v6成立的 TCP衔接来发送，，，，，，反之亦然，，，，，，即单个衔接允很多种和谈族的新闻公告。。。。。。

▲ 图5：在IPv6 Session上公告IPv4路由信息

如图5所示，，，，，，全发国际网络提供了一种优化规划：只成立单会话来承载双栈的路由，，，，，，这样做的益处除了简化配置、节俭IP，，，，，，还为类似BFD for BGP等和谈的部署削减了一半的机能亏损。。。。。。

BGP运维能力规划

除了要思考BGP基础能力的规划，，，，，，数据中心对于BGP网络可运维能力也提出了很高的要求。。。。。。常见的BGP运维能力的设计蕴含如下几点：

1、使用BFD技术加快BGP网络收敛

固然IDC网络是以高度冗余来构建的，，，，，，但网络的靠得住性仍受限于网络设备检测出故障，，，，，，并沉新将流量路由到其他的蹊径的能力（尤其是在光模浚？？？？？榛蛘吖庀顺鱿值ネǖ募饲榭鱿拢。。。。。当下数据中心，，，，，，故障收敛功夫要求越低越好（云业务要求做到亚秒级）。。。。。。如前文所述，，，，，，能够通过批改BGP计时器加快收敛，，，，，，但这种慢hello机造收敛功夫尽快也是秒级，，，，，，还不及以满足要求。。。。。。

而BFD能够提供毫秒级的检测精度，，，，，，通过与BGP联动，，，，，，能够实现BGP路由急剧收敛，，，，，，确保业务陆续。。。。。。在数据中心IDC中推荐开启BFD for BGP的设置，，，，，，思考到设备机能，，，，，，全端口开启时推荐选取300ms*3配置。。。。。。

以全发国际RGOS软件为例，，，，，，BFD重要配置如下：

2、不间断业务能力-BGP急剧切换

BGP路由收敛必要在路由表中删除失效路由，，，，，，并增长新的路由，，，，，，同时在芯片转颁发中实现对应的增、删。。。。。。在存在大量路由的情况下，，，，，，逐条删除并刷新路由表必要肯定的功夫，，，，，，收敛功夫可能达到数秒甚至数十秒。。。。。。全发国际RGOS软件在路由收敛上提供了优化的伎俩：支持前缀无关收敛。。。。。。如图6所示，，，，，，Leaf 1设备到Spine设备所有EBGP邻居都失效时，，，，，，Leaf 1会向所有TOR公告去往Spine的 AS不成达。。。。。。TOR接管到此新闻，，，，，，查找预先分配好的对应的ID索引(凭据Spine的AS号及Leaf的Router-ID分配)，，，，，，公告转颁发进行下一跳切换，，，，，，从而实现业务的急剧收敛，，，，，，其收敛速度不再受限于路由条款数。。。。。。（某大型互联网公司实测12K路由，，，，，，收敛功夫0.7秒）

▲ 图6：BGP前缀无关收敛

3、不间断业务能力-BGP NSR

数据中心的Leaf/Spine设备对靠得住性要求比力高，，，，，，大无数配置了双治理板；；；；；；；；对于TOR设备，，，，，，在堆叠组网场景下，，，，，，也实现了类似双治理板的成效。。。。。。主备治理板在产生切换时，，，，，，由于状态信息的不一致很容易引起和谈震荡。。。。。。

NSR（None-Stop-Routing，，，，，，不间断路由），，，，，，是为了实现互换机治理板主备切换时，，，，，，在和谈的沉新启动过程中路由不间断而设计的。。。。。。使能NSR职能后，，，，，，会打开TCP nss(none-stop-service)服务，，，，，，起头备份有关邻居以及路由信息到从板。。。。。。在治理板主备切换过程中，，，，，，NSR 职能使网络拓扑维持不变，，，，，，维持邻居状态和转颁发，，，，，，保峻峭害业务不中断。。。。。。

4、不间断业务能力-BGP滑润退出和延长颁布

BGP滑润退出：在CLOS数据中心网络中，，，，，，在对设备进行隔离升级等类似操作时，，，，，，使用BGP滑润退出职能能够确保业务不休流或者很少断流。。。。。。
其实现步骤是：

• 首先向邻居设备公告优先级低的路由（local-preference 值为0 或med 值为4294967295），，，，，，并且会携带驰名的gshut community，，，，，，从而使邻居设备进行路由更新，，，，，，使其流量预先切换到备份链路或其他等价链路上。。。。。。
• 接着再延长一按功夫，，，，，，确保路由进建实现之后，，，，，，断开与邻居设备间的BGP 衔接。。。。。。

BGP延长颁布：在设备沉启时，，，，，，可能会存在路由表还未下发到本地的硬件表项，，，，，，却将路由信息公告给邻居，，，，，，从而提前引流导致流量转发异常的情况。。。。。。为预防此问题，，，，，，能够设置BGP在整机沉启时把颁布的路由调整为低优先级
该能力建议在设备中预配置，，，，，，以全发国际RGOS为例，，，，，，需配置：

写在最后

规划、建设和运营好数据中心BGP网络，，，，，，是一件极度不容易的事件，，，，，，这必要大量的实际经验堆集。。。。。。所幸的是BGP在IDC的利用已经日趋成熟，，，，，，大型互联网公司、运营商有极度多实际案例能够参考。。。。。。全发国际网络也有幸参加其中，，，，，，为腾讯、阿里巴巴、字节跳动等客户交付了多个大型BGP数据中心网络。。。。。。

关于BGP机能优化以及更多BGP运维个性，，，，，，敬请等待技术盛宴后续分享。。。。。。

有关推荐：

• 大型数据中心网络路由和谈选择
• 新一代数据中心网络架构
• Clos组网技术
• 若何实现数据中心网络架构“去”堆叠
• 将来30年不落后的网络架构，，，，，，智能网络
• 互联网数据中心网络25G组网架构设计