全发国际

620 点全场景落地 丨 半导体大厂熙泰科技的云桌面安全与提效实战分享
预约直播
AI时期,,,,,,,,医疗网络怎么建 丨 全发国际医疗极简以太彩光双超融合网络解决规划颁布
预约直播
全发国际(中国)有限公司官网
产品
< 返回主菜单
产品中心
产品
解决规划
< 返回主菜单
解决规划中心
行业
合作同伴
返回主菜单
选择区域/说话
全发国际(中国)有限公司官网

您订阅的产品有更新,,,,,,,,请实时查阅

查看详情
全发国际(中国)有限公司官网 全发国际(中国)有限公司官网

数据中心网络运维的"巨人之剑"

【gRPC运维接口】本文重要介绍什么是梦想的北向运维接口,,,,,,,,基于gRPC + Protocol Buffer的北向运维接口,,,,,,,,已经在全发国际互换机中实现利用,,,,,,,,满足部门Feature的运维需要。。。 。。

  • 全发国际(中国)有限公司官网

    颁布功夫:2019-04-29

  • 全发国际(中国)有限公司官网

    点击量:

  • 全发国际(中国)有限公司官网

    点赞:

分享至

全发国际(中国)有限公司官网
全发国际(中国)有限公司官网
全发国际(中国)有限公司官网

我想评论

 

业务驱动网络技术改革带来的是“天使”还是“妖怪” ?????

 

随着互联网业务的蓬勃发展,,,,,,,,大数据、AI(人为智能)和RDMA(Remote Direct Memory Access,,,,,,,,远程内存直接接见)等技术已经获得宽泛利用,,,,,,,,带来数据中心流量持续增长的同时,,,,,,,,要求基础网络提供端到端低延时无损转发,,,,,,,,推动以太网互换机芯片的急剧升级。。。 。。

芯片机能升级:从传统的10G以太网到当下遍及的25G以太网,,,,,,,,甚至有效户已经起头着手部署基于100G以太网的HPC(High Performance Computing,,,,,,,,高机能推算)集群 ;;;;;

运维个性的丰硕:芯片提供了更多配套的加强能力,,,,,,,,好比全共享缓存区(Shared Buffer)、INT(In-band Network Telemetry,,,,,,,,带内网络遥测)、PFC(Priority-based Flow Control,,,,,,,,基于优先级的流量节造)、ECN(Explicit Congestion Notification,,,,,,,,显示拥塞公告机造)、MOD(Mirror-On-Drop,,,,,,,,丢包镜像)、TCB(Transient Capture Buffer,,,,,,,,瞬态捕获缓冲)等等。。。 。。

以RDMA技术为例 ,,,,,,,,互换机必要通过各类个性的复杂组合,,,,,,,,能力更好地支持其不变运行,,,,,,,,与业务的“轻耦合”,,,,,,,,带来了运维难度的提升

 

运维的巨人之剑

 

在网络设备技术日益复杂的布景下,,,,,,,,要实现业务的靠得住运行,,,,,,,,必要对网络设备内部深度掌控,,,,,,,,实现全面的可视化。。。 。。在DevOps(Development and Operations,,,,,,,,开发运维)自动化运维当路的今天,,,,,,,,互换机北向接口的选择变得极度沉要。。。 。。

传统的CLI(Command-Line Interface,,,,,,,,号令行界面)、SNMP(Simple Network Management Protocol,,,,,,,,单一网络治理和谈)等伎俩,,,,,,,,无论在机能、效能、自动化能力上显然不能很好的满足自动化运维需要。。。 。。借鉴业界一些互联网巨头的实际,,,,,,,,以及对gRPC(Google Remote Procedure Call,,,,,,,,谷歌RPC)的更深刻相识,,,,,,,,能够预感,,,,,,,,将来基于gRPC技术的运维接口有望能够作为最沉要的自动化运维伎俩。。。 。。在起头跟各人分享gRPC之前,,,,,,,,我们先分析一下当前数据中心互换机运维具体遇到了哪些瓶颈。。。 。。

互换机运维遇到的瓶颈

从运维自动化的角度,,,,,,,,对互换机产生的需要无非是以下几种作为:

Get:自动获取状态 和配相信息

运维 平台按需从互换机设备上获取关键配相信息或者软、硬件状态信息,,,,,,,,配相信息如BGP配置、安全配置等,,,,,,,,状态信息如接口流量、接口状态、Buffer队列长度、丢包等等 ;;;;;满足机房巡检、故障排查等需要。。。 。。

Set:自动下发配置

运维平台按需对互换机下发调换配置,,,,,,,,好比Shutdown端口、配置IP地址、配置水线阈值等 ;;;;;满足日常的业务调换需要。。。 。。

Alarm:自动上报异常状态 

互换机内部,,,,,,,,当满足肯定触发前提后 自动上报运维平台的Notification信息,,,,,,,,好比CPU利用率超过安全阈值、队列水线达到阈值、端口Up/Down等 ;;;;;满足对异常状态的告警需要。。。 。。

Push:自动周期上报关键状态信 

设备端周期 性自动上报一 些状态信息 ,,,,,,,,好比接口流量、队列水线、接口错包等 ;;;;;满足关键指标的持续监控需要。。。 。。

针对于上述的四种日常操作,,,,,,,,无论是基于传统的CLI + Syslog、SNMP,,,,,,,,还是基于比力盛行的Netconf、OpenConfig,,,,,,,,目前看都只能满足部门需要。。。 。。同时,,,,,,,,在机能、兼容性、扩大性、尺度化等方面遇到瓶颈,,,,,,,,只能同时选取多种运维接口组合来满足自动化运维平台的急剧、持续集成。。。 。。这几种运维接口单一分析如下:

全发国际(中国)有限公司官网

表1:四种运维接口的能力分析

基于以上分析,,,,,,,,单一总结如下:

全发国际(中国)有限公司官网

表2:四种运维接口的曲直势总结

从上面的总结中能够看到,,,,,,,,目前常见的几种北向接口都还不够美满,,,,,,,,无法满足将来多厂商组网下的统一运维和持续集成。。。 。。从另表一个层面看,,,,,,,,上述的北向接口总体上已经不容易扭转、且不成控,,,,,,,,即对于运维同学来说,,,,,,,,没有更好的自动权,,,,,,,,无法沉新界说。。。 。。那么对于运维同学来讲,,,,,,,,什么是梦想的北向运维接口呢 ?????

 

将来梦想的北向运维接口

 

基于上述分析总结起来,,,,,,,,我们以为必要有一个契机能够沉新界说北向运维接口,,,,,,,,美满地支持运维自动化平台的持续、单一、统一集成,,,,,,,,将来梦想的运维北向接口应该具备以下特点:

•厂家无关性:

以运维平台为中心界说的尺度化模型,,,,,,,,不必要分辨各个厂家设备进行持续的适配、调换。。。 。。

•YANG模型尺度化:

基于自身运维系统界说的统一尺度YANG模型,,,,,,,,持续迭代、演进,,,,,,,,不受限于OpenConfig组织或者厂家私有YANG模型。。。 。。

•全面的运维能力:

全面美满地支持Get、Set、Alarm及Push能力,,,,,,,,同时,,,,,,,,在统一的接口上进行四种能力下发和订阅。。。 。。

•单一的运维接口: 

沉新界说单一的运维接口 ,,,,,,,,自动化运维平台能够通过唯一的尺度接话柄现对各厂商的统一治理。。。 。。

从技术细节上,,,,,,,,将来运维北向接口应该具备以下能力:

•结构化北向接口:

借鉴Netconf和OpenConfig的和谈分层架构,,,,,,,,将数据编码、能力模型、远程挪用、数据传输、安全 等 ?????槎挤指簦,,,,,,通过度层和谈架构实现解耦合,,,,,,,,保障尺度接 口的急剧迭代。。。 。。

•直观、高效的数据描述:

能够基于JSON说话实现数据模型的描述,,,,,,,,取代XML及Protocol Buffer的数据描述,,,,,,,,简化编写复杂度,,,,,,,,提高可读性。。。 。。同时,,,,,,,,数据模型的调换不必要影响底层数 据的序列化传输,,,,,,,,好比Protocol Buffer。。。 。。

•统一树状YANG模型:

基于互换机能力模型 ,,,,,,,,针对分歧职能 ?????槭迪质髯吹腨ANG建模,,,,,,,,好比BGP、OSPF、安全、Interface等,,,,,,,,在分歧职能 ?????橄率迪諫et、Set、Alarm、Push能力的整合。。。 。。

•高效的数据传输:

选取二进造序列化和反序列化,,,,,,,,提供传统文本方式高效的数据传输 ;;;;;能够复用单一的TCP衔接实现多流传输,,,,,,,,提升效能。。。 。。

•基于RPC实现远程挪用解耦: 

基于RPC框架实现的接口进行远程挪用,,,,,,,,实现互换机与运维平台的解耦合,,,,,,,,彼此通明、独立。。。 。。

•安全靠得住的数据传输:

远程的RPC挪用必要完 善的Authentication机造 ;;;;;数据传输自身必要安全加密。。。 。。

固然上面的描述只是对将来北向运维接口的设想,,,,,,,,但是对于互换机设备进行全面统一的治理是实切其实的刚需,,,,,,,,以运维平台为主题统一满足Get、Set、Alarm和Push操作。。。 。。现实中是否存在这样的接口呢 ?????基于gRPC + Protocol Buffer也许是一个可能的选择。。。 。。

 

基于gRPC框架的统一运维接口设计

 

基于gRPC + Protocol Buffer的运维模型如下:

全发国际(中国)有限公司官网

?节造器订阅/解订阅实时性/周期性事务。。。 。。

?互换机保留/删除订阅的服务器地址,,,,,,,,端标语和订阅事务。。。 。。

?互换机基于订阅的事务,,,,,,,,机关对应数据的JSON体式,,,,,,,,使用Protobuf封装报文,,,,,,,,通过gRPC和谈往服务器发送Proto Request新闻。。。 。。

?服务器端收到Proto Request新闻,,,,,,,,使用Protobuf解封装报文,,,,,,,,还原出JSON体式的数据结构,,,,,,,,进行业务处置。。。 。。

?服务器端处置完数据后,,,,,,,,必要使用Protobuf封装应答数据,,,,,,,,通过gRPC和谈往互换机发送Proto Reply新闻。。。 。。

?交互机收到Proto Reply新闻,,,,,,,,则实现本次的gRPC交互。。。 。。

框架的统一运维接口设计中,,,,,,,,gRPC是一个关键的传输框架,,,,,,,,但不是全数。。。 。。

•Data:最终要传输的数据,,,,,,,,蕴含指令,,,,,,,,支持Get、Set、Alarm和Push操作 ;;;;;

•统一YANG模型:基于JSON进行数据模型的统一描述,,,,,,,,以网络架构及运维需要整合的统一YANG示范型 ;;;;;

•gRPC:统一的北向接口,,,,,,,,通过RPC步骤,,,,,,,,把数据的发送或获取!! 。。,,,,,,像挪用本地对象一样挪用远端的对象 ;;;;;

•Protocol Buffer:界说RPC接口服务(.proto文件),,,,,,,,同时实现数据的序列化和反序列化封装,,,,,,,,提升数据的传输效能,,,,,,,,降低带宽需要 ;;;;;

• Netty + HTTP/2:在靠得住的网络衔接上提供双向的流复用,,,,,,,,共同Netty简化网络编程。。。 。。

gRPC是一个基于HTTP/2和谈的高机能、开源和通用的RPC框架,,,,,,,,其中最沉要也是落地最难题的就是统一YANG模型的成立。。。 。。OpenConfig固然界说了大量 尺度YANG模型,,,,,,,,解决了统一、兼容的问题,,,,,,,,但是这种尺度工作组的方式无法满足当下基础网络运维急剧迭代的需要。。。 。。所以呼吁头部互联网公司牵头梳理形成事实的统一YANG模型,,,,,,,,各人在此基础上进行不休的补充、美满。。。 。。从此降低运维平台多方对接的成本,,,,,,,,把指标聚焦在运维能力需要自身。。。 。。

 

总结

 

基于gRPC + Protocol Buffer的北向运维接口,,,,,,,,已经在全发国际互换机中实现利用,,,,,,,,满足部门Feature的运维需要。。。 。。例如对互换机Buffer的全面治理,,,,,,,,蕴含对Ingress/Egress端口/队列缓存的实时监控、端口/队列缓存超阀值次数等指标的周期采集,,,,,,,,最高频率能够达到秒级 ;;;;;对入/出端口缓存不及丢包、端口Buffer超限等问题能够自动触发Alarm上报等,,,,,,,,很好地满足了运维对可视化和实时性的要求。。。 。。但是离真正取代SNMP等和谈还有很长的一段路要走,,,,,,,,但是相信将来会基于gRPC实现更多运维能力的统一管控。。。 。。

关于gRPC和谈自身的道理,,,,,,,,我们后面的文章会进一步发展介绍,,,,,,,,敬请等待。。。 。。

本期作者:高亮

全发国际网络互联网系统部行业征询

全发国际(中国)有限公司官网

往期杰出回首

• 【第二期】若何通过网络遥测(Network Telemetry)技术实现精密化网络运维 ?????

• 【第三期】畅谈数据中心网络运维自动化

• 【第五期】流量可视化之ERSPAN的前世今生

• 【第七期】运维可视化之INT职能详解

• 【第八期】浅析RDMA网络下MMU水线设置

• 【第十期】数据中心自动化运维技术索求之互换机零配置上线

• 【第十一期】浅谈数据中心100G光 ?????

• 【第十五期】数据中心自动化运维技术索求之NETCONF

有关推荐:

更多技术博文

任何必要,,,,,,,,请联系全发国际

全发国际(中国)有限公司官网

返回顶部

收起
全发国际(中国)有限公司官网 文档AI副手
全发国际(中国)有限公司官网 文档评价
该资料是否解决了您的问题 ?????
您对当前页面的中意度若何 ?????
不咋滴
极度好
您中意的原因是(多选!! 。。 ?????
您对文档是否还有其它的问题或建议 ?????
为尽快解决问题,,,,,,,,请您留下联系方式以便回复
邮箱
手机号
感激您的反馈!! 。。
全发国际(中国)有限公司官网
全发国际(中国)有限公司官网
全发国际(中国)有限公司官网
请选择服务项目
关关征询页
售前征询 售前征询
售前征询
售后服务 售后服务
售后服务
定见反馈 定见反馈
定见反馈
更多联系方式
【网站地图】【sitemap】