指南:

本文以大型金融机构广域联网为例,综合运用路由规划、链路检测、参数优化等技术手段,探讨了如何加快路由转换,减少网络中断时间,以满足金融机构数据中心网络转换时间10s的要求。

金融行业广域网上主要承载着实时交互的联机类业务,对网络时延和丢包都非常敏感。由于广域网线路的特殊性,包括带宽稀缺、稳定性差、排障困难等不利因素,很容易成为整网的故障高发区。金融行业对网络可靠性的要求高于其他行业,在网络局部发生故障的情况下,一般要求在10s以内能够自动恢复网络连通性,才能将网络中断产生的负面影响限制在可控范围内。

本文以某大型机构机构的广域组网为例,图1为该金融机构的全国数据中心网拓扑图:

图1 某金融机构数据中心广域网拓扑图

由图1可以看到,全网由两个数据中心、总部大楼组成,北京数据中心为生产备份中心,上海数据中心为生产主中心,两个中心互为备份。数据中心、总部大楼都有各自的广域区,广域区由2台汇聚交换机和多台接入路由器构成,横向连接局域网与广域网,纵向连接各级广域网。

1路由规划

采用分层路由模型,在广域网的入口处(广域区交换机)标记路由,在广域网核心位置(广域路由器)根据路由类型作数据分流,总体路由协议规划如图2所示:

图2 路由协议总体规划

广域网使用BGP路由协议,为北京数据中心、上海数据中心、总部大楼各分配一个AS,三者之间建立eBGP邻居关系。广域网的分流基于BGP Local Preference属性来实现,在eBGP邻居的入方向设置路由LP值,LP值大的路由优先。

广域区内部运行iBGP,两台广域区交换机为整个广域区的路由反射器,其他路由器为路由反射器客户端。此外,还需要运行一个OSPF 300的进程,不承载业务路由,只用于交换广域区设备的loopback地址路由,供iBGP建立邻居关系用。

局域网内部运行OSPF 100进程,广域区交换机为广域网和局域网的交汇点,同时运行OSPF 100、OSPF 300、BGP三种路由协议,其中OSPF 100与BGP之间存在路由再发布关系。

分支机构广域网运行OSPF 400进程,总部大楼下联路由器为iBGP与OSPF 400的路由再发布边界,用于交换分支机构与总部大楼的路由。

2路由收敛

路由收敛指网络从链路或者设备发生故障,到全网节点计算出新的路径的整个过程,与组网结构、路由协议、链路类型、设备性能都有关系。路由收敛的大致过程如图3所示:

图3 路由收敛过程

(A) 链路检测

广域网链路可以分为具备链路检测能力和不具备链路检测能力两类。具备链路检测能力的广域链路有SDH、ATM等,其中SDH物理层支持端到端的故障发现,ATM通过OAM也能够检测端到端连通性。在中间链路故障的情况下,两端路由器通过链路检测机制快速发现故障,关闭广域网端口,并通知上层路由协议,加快路由收敛速度。不具备链路检测能力的广域链路有FR、MSTP等,在中间链路出现故障的情况下,两端路由器不能感知链路故障,广域网端口依旧UP,上层路由协议无法快速收敛。

除了广域链路协议自身的检测机制外,还有一些与链路无关的IP层检测机制,比如BFD、NQA等。BFD(Bidirectional Forwarding Detection,双向转发检测)是一种RFC标准的IP层双向可达性检测协议,支持ms级的检测精度,能够与OSPF、BGP等路由协议联动,而NQA(Network Quality Analyzer,网络质量分析)是厂商私有的IP层可达性检测协议,也支持ms级的检测精度,一般与静态路由配合使用。

(B) 路由检测

不管广域网链路是否支持链路检测,动态路由协议都有自己的邻居状态检测机制,比如OSPF的hello,BGP的keepalive等,但是路由协议的检测时间一般要长于链路检测,OSPF的缺省值为4x10s,BGP的缺省值为3x30s,远远高于ATM OAM的检测时间1x3s。

(C) 路由扩散

直连路由器发现链路故障后,马上将路由变化信息传递给所有的路由协议邻居,邻居路由器以同样的方式将这条路由信息泛洪给所有其他邻居,这个过程一直持续到全网节点都收到这条路由更新信息为止,从而达到全网路由信息的同步。

(D)路由计算

路由器收到路由更新信息后,会尽快重新计算路由,有些路由协议为了提高网络的稳定性,会滞后计算路由表,比如OSPF的缺省SPF计算时延为5s,也就是每当有路由变化时,需要等待5s,才能生成新的路由。

1. 核心骨干网路由收敛

以上海中心业务网段A为例(图4),北京中心访问上海中心业务网段A时,优选核心骨干网链路1,备选核心骨干网链路2,如果链路1发生故障,业务网段A路由需要多长时间才能切换到链路2上?

图4 核心骨干网路由收敛示例

从链路1中断到网段A路由恢复连通,整个路由收敛过程如下:

(1)假设链路支持物理层的链路连通性检测,能够在50ms内发现链路故障问题,链路1两端互联路由器eBGP状态回退至IDLE;

(2)北京中心核心路由器1向路由反射器(即北京中心两台广域区交换机)发送网段A的路由撤销;

(3)北京中心广域区交换失去到业务网段A的路由,于是向北京中心核心路由器2发送网段A的路由撤销,并在OSPF 100中删除网段A的外部路由,北京中心局域网内部到业务网段A的路由中断。

(4)北京中心核心路由器2重新计算BGP路由,优选上海中心核心路由器2发布的eBGP路由,并向北京中心广域区交换机转发这条路由。

(5)北京中心广域区交换机重新计算BGP路由,优选北京中心核心路由器2发布的BGP路由,转发给核心路由器1,并在OSPF 100中重新生成网段A的外部路由,北京中心局域网内部到业务网段A的路由恢复。

从以上路由收敛过程来看,核心骨干网的收敛时间包括链路检测时间(<1s)、BGP路由扩散时间(<1s)、OSPF外部路由扩散时间(<1s)等,因此总的收敛时间可以达到<10s的要求。

虽然SDH线路自身支持链路层的快速检测,但考虑到SDH技术的复杂性以及线路的稳定性,也可以在SDH之上启用BFD协议,与eBGP进行联动,确保SDH线路故障情况下,路由能够快速切换到正常链路上。

2. 总部大楼广域网路由收敛

以总部大楼业务网段B为例(见图5),上海中心访问总部大楼业务网段B时,优选上海中心至总部大楼链路1,备选上海中心至总部大楼链路2,如果上海中心至总部大楼链路1发生故障,业务网段B路由需要多长时间才能切换到上海中心至总部大楼链路2上?

注:北京中心访问总部大楼业务网段B时,用户要求优选绕行上海中心的路径,即"核心骨干链路1、上海中心至总部大楼链路1"路径。

图5总部大楼广域网路由收敛示例

从链路1中断到网段B路由恢复连通,整个路由收敛过程如下:

(1)上海中心至总部大楼链路1中断,两端路由器检测链路故障,检测时间需要3s,eBGP邻居状态回退至IDLE;

(2)上海中心下联路由器1向两台路由反射器(即上海中心两台广域区交换机)发送网段B的路由撤销;

(3)上海中心广域区交换机失去到网段B的路由,于是向上海中心核心路由器1、核心路由器2及下联路由器2发送网段B的路由撤销,并在OSPF 100中删除网段B的外部路由,上海中心局域网内部到业务网段B的路由中断;

(4)上海中心核心路由器向北京中心核心路由器转发网段B的路由撤销,北京中心广域区交换机重新计算BGP路由,优选北京下联路由器1发布的网段B路由,此时北京中心访问网段B时,直接通过北京中心链路1下去,不再经过上海中心绕行;

(5)上海中心下联路由器2收到网段B的路由撤销,优选总部大楼上联路由器2发布的网段B路由(eBGP路由),并将网段B路由转发给上海中心广域区交换机;

(6)上海中心广域区交换机从下联路由器2收到网段B路由,重新计算网段B最佳路由,反射给上海中心下联路由器1及上海中心核心路由器1和2,并将网段B路由导入OSPF 100,上海中心局域网内部重新学到分行网段B的路由信息;

(7)上海中心核心路由器向北京中心核心路由器转发网段B的路由更新;

(8)北京中心广域区交换机重新计算BGP路由,优选北京核心路由器1发布的网段B路由,此时北京中心访问网段B时,需要通过核心骨干链路1,经过上海中心绕行。

从以上路由收敛过程来看,一级骨干网的收敛时间包括链路检测时间(<3s)、BGP路由扩散时间(<1s)、BGP二次扩散时间(<1s)、OSPF外部路由扩散时间(<1s)等,因此总的收敛时间也可以达到<10s的要求。

虽然在单条链路故障的情况下,收敛时间能够达到用户要求,但是BGP扩散过程非常复杂,OSPF外部路由多次删除和生成,以及北京中心BGP二次收敛的问题,给网络带来了诸多不确定性因素,因此需要对路由协议进行优化,简化路由收敛的过程,提高网络的健壮性。

主要优化措施如下:

(A)骨干网上eBGP路由优先,通过在下联路由器上设置eBGP路由的preferred-value来实现。preferred-value为本地私有BGP属性,在BGP选路顺序中优先级最高,因此下联路由器都认为自己的eBGP路由最佳,并转发给广域区交换机。以上海中心广域区为例,广域区交换机学到了两份网段B的路由,分别来自于下联路由器1(主用路由)和下联路由器2(备用路由),主线路中断情况下,路由可以马上切换至备线路上;

(B)广域区内部取消路由反射器,建立Full Mesh iBGP邻居关系。核心骨干路由器可以直接从下联路由器学习到两份网段B路由,单条链路故障情况下,核心骨干路由器能够马上切换至备用路由;

(C)修改核心骨干网上eBGP路由的route-update-interval(route-update-interval指同一个网段的两次BGP路由更新的最小时间间隔,eBGP route-update-interval的缺省值为30s)。在跨中心切换场景下,比如上海中心至总部大楼的ATM链路全部中断,路由需要切换到北京中心至总部大楼的ATM链路上,切换过程中会出现同一网段多次BGP更新的问题,可以将核心骨干网的eBGP route-update-interval下调为5s,提高跨中心路由切换的速度。

采取以上优化措施后,一级骨干网的路由收敛过程如下:

(1)上海中心至总部大楼链路1中断,eBGP邻居状态回退至IDLE;

(2)上海中心下联路由器1向广域区所有iBGP邻居发送网段B的路由撤销;

(3)上海中心广域区交换机立刻切换至备用路由,并在OSPF 100中更新网段B的外部路由信息,上海中心局域网内部到业务网段B的路由不中断;

(4)上海中心核心路由器立刻切换至备用路由,同时向北京中心核心路由器转发网段B的路由更新,北京中心广域区交换机重新计算BGP路由,BGP路径没有发生变化,避免了BGP二次收敛的问题。

与优化前相比,优化后的路由收敛过程大为简化,主要得益于BGP提供的备份路由能力:主路由不通的情况下,能够立刻切换至备份路由上。网络稳定性和收敛速度都有明显提高。

3. 分支机构广域网路由收敛

以分支机构1业务网段C为例(如图6),总部大楼访问分支机构业务网段C时,优选总部大楼至分支机构链路1,备选总部大楼至分支机构链路2,如果总部大楼至分支机构链路1发生故障,业务网段C路由需要多长时间才能切换到总部大楼至分支机构链路2上?

图6 分支机构广域网路由收敛示例

从链路1中断到网段C路由恢复连通,整个路由收敛过程如下:

(1)总部大楼至分支机构链路1中断,两端路由器通过BFD for OSPF检测到链路故障,检测时间需要3s,OSPF邻居状态回退至down;

(2)总部大楼下联路由器1、分支机构上联路由器1更新各自的router lsa,在区域内部泛洪,保证区域内部路由器OSPF链路状态数据库同步;

(3)OSPF 400区域内路由器等待5s后,重新计算OSPF路由,分支机构网段C路由切换至链路2。

从以上路由收敛过程来看,分支机构广域网的收敛时间包括链路检测时间(<3s)、OSPF计算时延(5s)、OSPF LSA扩散时间(<1s)等,因此总的收敛时间基本可以达到<10s的要求。

为了进一步提高分支机构广域网的收敛速度和路由稳定性,对分支机构广域网做如下优化:

(A)优化SPF调度参数。可以修改为:首次SPF调度时延为100ms,增量值为1s,最大调度时延为5s。可以大大提高首次SPF计算的速度;

(B)OSPF 400路由不直接再发布给iBGP,而是在总部大楼下联路由器上配置静态黑洞路由,无论OSPF 400内部路由如何变化,BGP路由不受丝毫影响;

(C)如果分支机构设备不支持BFD协议,可以在总部大楼下联路由器上启用BFD Echo for OSPF,由下联路由器单向检测链路的连通性,由于OSPF SPF算法会检测Router LSA的双向可达性,分支机构上联路由器在计算路由时会避开故障MSTP链路,实现MSTP链路的快速切换。

经过优化后,分支机构广域网收敛速度可以降低到5s左右,而且通过引入黑洞路由,充分保障了总部大楼网络的路由稳定性。

3结束语

金融广域网路由快速收敛的目标是在保证路由连通性基础上,充分挖掘网络的快速重路由潜力,达到10s以内的路由切换速度。随着网络技术的发展,路由快速收敛的时间也在不断刷新,使用MPLS TE FRR等技术,已经可以达到ms级的收敛速度,因此金融广域网络的路由快速收敛之路还刚起步,任重而道远。

本文作者:钱霖(点融黑帮),现任点融网高级网络工程师,曾就职于H3C,专长于大规模复杂网络设计、WiFi网络、视频监控系统。爱好智能家电、科幻、旅游、历史资产证券化、金融产品设计、风险管理。

随着点融网新一轮融资,点融网即将开始大规模的扩张,需要各种优秀人才的加入,如果你觉得自己够优秀,欢迎加入我们!获取更多职位信息,请关注点融黑帮。

1.《怎么设置lp?我来告诉你答案专业解读之金融机构数据中心网络切换方案》援引自互联网,旨在传递更多网络信息知识,仅代表作者本人观点,与本网站无关,侵删请联系页脚下方联系方式。

2.《怎么设置lp?我来告诉你答案专业解读之金融机构数据中心网络切换方案》仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证。

3.文章转载时请保留本站内容来源地址,https://www.lu-xu.com/gl/3020149.html