江西裕民银行高级系统工程师李先科：同城双活中心建设-欢乐点，智慧门店服务商

【摘要】本文以某建行全业务系统同城双活中心建设项目为背景，按照监管新政要求，完善短期以及中常年的生产业务系统灾备建设目标，详尽介绍了业务系统、中间件、基础构架、容灾构架、备份系统和关键储存选型、架构方案设计等方面的实践，希望能为同业灾备或双活数据中心建设带来一些借鉴和启发。

【作者】李先科，四川裕民建行中级系统工程师。10多年金融信息技术服务及管理工作，多年的网路、主机、存储、虚拟化、云估算、备份相关技术经验，对容器云原生技术比较感兴趣。

1项目概述

快速发展的业务需求和愈加严格的行业监管要求使得建行的信息系统稳定性和业务连续性对基础设施的要求越来越高。为了响应银银监会的监管要求，同时结合自身业务发展的须要，我行启动了“同城灾备建设”项目，保障基础设施环境有效支撑业务的稳定运行、持续发展和业务连续性的监管要求。

我行现有主数据中心机房空间、电力、空调等基础设施容量渐渐减小，但没有相应的灾备数据中心保证相应的业务连续性要求，已难于满足当前及未来业务发展的须要。因此，我行正在建设同城灾备中心建设。在灾备数据中心具备投运运行条件后，需尽早施行新数据中心的搭建及业务迁移，因而使数据中心的综合管理和生产运行能力上一个新台阶。

我行现有两个数据中心，其中在用的有A数据中心，B数据中心正在建设中。

A数据中心作为目前主生产中心作为全行信息中枢纽，承载行里所用信息系统的运行保障，在A数据中心进行数据中心运行、系统监控及运行管理。

启动新数据中心建设项目，B数据中心将作为同城灾备中心，同城灾备范围覆盖当前重要业务系统并满足相应的RPO与RTO要求。

未来A数据中心将作为全行生产中心运行全部信息系统，B数据中心承当部份业务或未来全部业务系统的双活运行。

2建设目标

本次灾备系统建设的关键目标是根据中国人民建行《银行业信息系统灾难恢复管理规范》（JR/T0044-2008）6级要求，通过布署双活灾备模式，实现业务级别的灾备；应用系统手动切换，采用同步复制技术，实现数据零遗失，因而实现RTO/RPO的近零目标，保障业务访问的连续性。

3建设内容

云数据中心建设是建设云平台的核心与关键，虚拟数据中心负责按需提供满足要求的运算处理资源、存储资源、网络资源等IT基础构架服务。

数据中心提供满足安全、高效管理和保障业务连续性的功能。通过“AB站点双活异地数据备份”方案，实现不同灾难场景下的业务连续性要求。

未来A数据中心将作为全行生产中心运行全部信息系统，B数据中心同样承载大部分业务系统的生产运行，A数据中心与B数据中心实现主要业务系统双活，通过小规模改建逐渐实现全业务系统双活目的。

本次方案的主要建设内容为“AB站点双活异地数据备份”建设。

4双活数据中心建设方案4.1建设模式剖析

出于灾备（）的目的，通常还会建设2个（或多个）数据中心。主流的容灾模式包括主备模式和双活模式，主备模式又分为主备模式和互备模式，双活模式分为准双活和云双活模式。如右图所示：

▲容灾模式图

4.1.1主备模式建设剖析

在主备中心模式中同城信息系统，一个是主数据中心用于承当用户的业务，一个是备份数据中心用于备份主数据中心的数据、配置、业务等。两数据中心间的备份方法通常有主备（-）热备、冷备、双活（-）备份方法。

其中主备数据中心有两种模式：

两个数据中心1:1建设，一个数据中心作为业务的主处理中心，数据全部落到该数据中心，之后数据通过数据库和储存的同步和复制技术将数据备份到备中心，达到容灾的目的。但缺点是资源的借助率很低。

两个数据中心1:1建设，按照业务的需求及未来发展考虑，将不同的业务布署在不同是数据中心内，而且两中心承当各自业务的互备，数据通过数据库和储存的同步和复制技术将数据备份到备中心，达到容灾的目的，这些容灾模式资源借助率较主备模式有一定优势，但整体资源借助率仍处于较低水平。

4.1.2双活模式建设剖析

在双活中心模式中，两个数据中心均承载用户的业务，通过全局负载均衡、存储复制等技术实现应用及数据的负载。

其中双活数据中心有两种模式：

双生产中心均须要完成数据更新的业务，主中心通过数据复制技术将数据复制到同城，通过全局负载均衡、业务模块或用户的方法将业务分配到不同的中心，平常主要的处理能力均分配给生产应用系统使用，出现灾难时，按照须要接管的方法，动态调度资源给备份系统使用。同城灾备中心的主机平常处于“备份”状态，但主要的资源均动态分配给生产系统使用。没有完全闲置的设备。数据库数据只在单边写入，同城采用数据同步的方法。

业务或用户根据服务需求（On－）将业务分配到不同的中心，平常主要的处理能力均分配给不同的中心。跨双生产中心构建共享的资源访问方法，并完善跨生产中心高可用集群。通过数据复制技术将数据镜像到对方，出现灾难时，按照须要接管的形式，根据当前的业务状态动态调度服务和资源（)，所有的中心、主机和储存设备均处于生产状态和实现负载分担。

在本次项目中，结合我行实际情况、灾备等级建设目标和保监会要求，决定采用双活模式建设“AB站点数据中心”。

4.2数据复制技术剖析

为了实现双活模式的数据中心建设，数据复制技术的选择至关重要，只有选择合适的数据复制技术，能够实现双活数据中心的建设。

目前业界主流的数据复制技术如右图所示：

▲灾备复制技术对比图

在灾备复制技术的选择上，各类数据复制技术都有其自身的异同点，最适宜双活数据中心建设的数据复制技术主要是储存系统数据复制技术。这其中又包括“基于储存设备的数据复制”和“存储虚拟化复制技术”基于储存设备的数据复制”适合新建项目。而储存虚拟化复制技术”同时会对储存虚拟化网路有一定要求，同时对储存系统的整体性能也有一定影响，主要技术异同点对诸如下：

复制技术比较项目

储存系统数据复制技术

主机数据复制技术

数据库

复制技术

备份技术

基于储存设备数据复制

储存虚拟化复制技术

操作系统

相关

无关

主机性能影响

无

有

较小

储存性能影响

有

无

复制实时性

高

低

数据一致性

高

低

高

复制数据类型

结构化数据、非结构化数据

同城信息系统_同城信息系统有哪些_同城信息平台系统

结构化数据、非结构化数据

结构化数据

结构化数据、非结构化数据

逻辑故障恢复

基于快照恢复，快照保存周期短

日志回滚恢复

定点恢复，保存周期长

链路带宽

高

较高

低

维护管理难度

日常维护小

日常维护量较大

日常维护大

日常维护小

▲灾备复制技术对比表

在本期项目建设中，依照现有A中心的储存设备使用情况、双活数据中心的数据实时复制和一致性要求，决定采用“基于储存设备的数据复制”。实现两个数据中心同设备储存间的数据复制，在实时性、可靠性和数据复制类型上可以兼具并满足双活数据中心建设要求

4.3总体构架设计

为了实现对“AB站点数据中心”的双活构架设计，两个数据中心内的各个层次都须要具备双活的技术能力。

如右图所示：A数据中心为主中心，B数据中心作为备中心。我们主要通过以下几个层面实现同城两中心的灾备系统：

在双活数据中心的建设过程中，储存层的建设最为重要，由于它主要负责两个数据中心的数据复制同步，是双活数据中心建设的基础，只有在储存层实现了数据同步，就能实现双活数据中心的建设任务。

4.4储存构架设计4.4.1双活储存设备选型

储存双活方案作为全行业务的核心基础构架，其构架的选择决定了整个系统是否可靠高可用、安全可信赖、弹性可扩充。这次项目建设，采用基于专业的虚拟化储存设备来建立高可用、高性能、可扩充的储存双活方案。

依据实际情况，本项目中华为储存布署在B数据中心，双活方案采用华为18000系列高档储存产品，实现储存双活构架，为数据中心提供读写服务，且整个储存系统构架全冗余。

储存层，在B数据中心选择了两台华为18000系列高档储存，配置实现两台储存双活，为下层数据库及应用系统提供稳定、可靠的储存托架。同时，选择两台华为5310V5分别布署于AB两个数据中心，也配置实现AB数据中心全业务系统的NAS双活（底层储存双活，对外提供NFS网路为主备）。

两台华为18000系列高档储存组成一个集群，为该数据中心主机业务同时提供读写服务。支持扩充至16控制器，高档支持32控制器。为了保证数据库及部份延时敏感型应用的IO需求，两台储存配置3.8TSSD，采用RAID6以实现高IOPS和可靠冗余的c盘组管理。

4.4.2SAN储存方案设计

两台华为18000系列高档储存在基于SAN储存类型应用的双活方案设计上，采用华为储存双活技术方案。

4.4.2.1方案对网路的要求

采用IP/FC链路实现同城双数据中心间的数据实时同步，为减少数据词尾对业务系统的影响，须要将同城链路的信噪比控制在1ms以内。

同城链路带宽需求，与须要在两数据中心间同步的数据量相关，要求链路带宽小于业务系统高峰期的数据写带宽。因我行是在同数据中心，故链路质量可以较容易保证。

4.4.2.2应用系统对码流的要求

双活数据中心的建设除了是储存一个层面的双活布署，须要端到端地进行考虑。尤为重要的是，当前双数据中心的网路信噪比是否能满足应用系统对网路信噪比的要求。

以下例举了双活数据中心解决方案的两种典型应用场景对信噪比的建议：

类型

性能好

性能可接受

性能差

dbfileread

>20ms

dbfilewrite

>15ms

logfilewrite

≤5ms

>15ms

4.4.2.3方案对仲裁链路的要求

为保证各类异常情况下，储存双活集群才能进行仲裁，业界储存双活方案都须要设计第三方仲裁站点，以保证多种异常情况下的业务连续性。

两个双活数据中心与第三方仲裁站点间的链路选择IP网路，可以降低方案的灵活性，有利于减少建设的整体成本。

华为储存双活技术方案提供了两种仲裁模式：

仲裁服务器模式比静态优级模式具备更高的可靠性，可保证在各类单点故障场景下，业务连续运行。因而，双活方案推荐采用仲裁服务器模式，建议有条件仲裁服务器布署在第三个机房。

下边列举了仲裁服务器模式下，各类故障场景下双活业务表现。

编号

示意图

仲裁结果

故障类型：仲裁失效

仲裁结果：H1继续运行业务

故障类型：一套阵列与仲裁之间链路故障

仲裁结果：H1继续运行业务

故障类型：一套阵列失效

仲裁结果：H1失效，H2继续运行业务

故障类型：阵列间链路中断

仲裁结果：H1继续运行业务

故障类型：一套阵列与仲裁同时失效

仲裁结果：H1失效，H2停止业务

故障类型：一套阵列与对端、仲裁的链路同时中断

仲裁结果：H1停止业务，H2继续运行业务

故障类型：一套阵列失效，且对端与仲裁链路中断

仲裁结果：H1失效，H2停止业务

故障类型：仲裁失效，且阵列间链路中断

仲裁结果：假如两个两个故障同时发生时，H1与H2均停止业务；假如两个故障发生存在分钟级时间差，则H2停止业务，H1继续运行业务，相关原理见仲裁模式互转功能

同城信息系统有哪些_同城信息系统_同城信息平台系统

故障类型：仲裁失效，且其与一套阵列链路中断

仲裁结果：H1继续运行业务

4.4.2.4高可靠链路设计的要求

假如是跨中心双活布署，建议每位控制器节点都与对端阵列构建起码2条阵列间镜像链路，并对两条链路的交换机进行隔离，获得较好的链路可靠性。假如使用仲裁服务器模式，则建议每位控制器节点都有1条联接到仲裁服务器的链路。

为保证双活性能，华为储存双活技术方案对站点间双活链路的网路要求如下：

4.4.3NAS储存方案设计

两台华为18000系列高档储存在基于NAS储存类型应用的双活方案设计上，采用基于IP网路华为储存双活技术方案。

4.4.3.1方案对网路和设备的要求

1．A数据中心与B数据中心NAS业务IP二层网路打通

2．A数据中心与B数据中心使用相同品牌机型的NAS储存（两套NAS储存替换原有NAS储存）

在生产中心与灾备中心使用相同机型的NAS储存，通过两中心之间的二层网路连通。两中心NAS配置一个或多个VIP地址用于服务器主机挂载使用，生产中心与灾备中心服务器挂载主中心NAS储存业务IP。

当生产中心或灾备中心NAS储存受损时或NAS网路断掉时，不影响NAS正常对外提供服务（主NAS储存故障会有一个切换时间即MAC地址老化时间）。

NOTE：按照实际测试，假如部份Linux版本未更新内核补丁，会出现NAS业务IP主备切换时的hang机情况，可通过更新OS内核补丁解决。因而NAS业务上线前，可先对网内各版本NFS顾客端操作系统进行验证测试。

4.4.3.2双活储存镜像技术

1．NAS双活基于住户细度的切换，致使用户可以依据业务分布灵活配置不同的房客即可完成业务在跨中心的负载均衡。

2．华为通过实时镜像功能，保证坐落两个站点的之间数据的时刻一致。主机写操作通过实时镜像技术同时写入两个数据中心的成员文件系统。具体的写恳求处理如右图所示。

3．主机下发写恳求到主文件系统。

4．主文件系统将写I/O恳求讲到双活I/O管理模块。

5．双活I/O管理模块记录LOG。

6．双活I/O管理模块同时将该写I/O写入本端Cache和远端Cache。

7．主端和远端Cache向双活I/O管理模块返回写I/O结果。

8．双活I/O管理模块返回写I/O结果到主文件系统。

9．主文件系统将写恳求的结果返回给主机。

10．双活I/O管理模块判定词尾是否成功。

11．假若两端都写成功，双活I/O管理模块消除LOG。

12．假若有任意一端写失败，LOG转换成DCL，记录本端文件系统和远端文件系统的差别数据。

4.4.3.3双活IO访问路径

NAS合同依赖IP地址轮询，配置有双活关系的两个，具有相同的IP地址，但只有一个IP地址是激活的，另一个IP地址是未激活的。如右图，当用户执行主从切换后，阵列B的IP地址被激活，阵列A的IP地址未激活，主机应用的操作被转发到阵列B。

4.4.3.4数据一致性保证

通过实时镜像功能，保证两个站点储存阵列之间数据的实时同步。主机写操作通过实时镜像技术同时写入两个数据中心的双活成员FS，保持数据实时一致。具体的写I/O流程如右图所示。

如图所示，系统正常情况下，应用写IO数据下发同城信息系统，都要同时讲到两台阵列的FSCache再返回主机，确保两台阵列数据实时一致。

4.4.4双活储存设备优势4.4.4.1极简组网

采用华为双活储存构架相比IBMSVC或则EMCVPLEX无需额外布署网段设备，最大支持32个储存控制器，即两套16控储存系统成立双活关系。双活的两套储存系统间通讯从性能上考虑推荐使用FC链路，储存系统和仲裁服务器之间的链路采用IP链路。

4.4.4.2跨站点集群

两套独立的储存阵列组建成跨站点集群，并以跨站点集群为核心，提供双活储存构架，向应用服务器提供无差别的并行访问，处理应用服务器的I/O恳求。

在跨站点集群基础上，SAN双活以双活Pair或双活一致性组为单位提供服务和进行状态管理；NAS双活以双活住户为单位进行状态管理。用户可以按住户分布自己的业务，将一个业务系统涉及的SAN和NAS均放在某个住户管理界面内，以便管理。

两套储存阵列上的双活成员LUN组成一个虚拟双活LUN，通过实时镜像技术保持两个数据中心的双活成员LUN的数据实时一致。

4.4.4.3跨站点数据实时镜像

通过实时镜像功能，保证两个站点储存阵列之间数据的实时同步。主机写操作通过实时镜像技术同时写入两个数据中心的双活成员LUN，保持数据实时一致。具体的写I/O流程如图所示。

如果数据中心A阵列收到写I/O，镜像处理流程如下：

1．主机下发写I/O到双活管理模块。

2．系统记录LOG。

3．执行词尾：双活管理模块同时将该写I/O写入本端Cache和远端Cache。

4．本端Cache和远端Cache向双活管理模块返回写I/O结果。

5．词尾结果处理：等待两端Cache的写处理结果都返回，才向主机返回写I/O结果。

6．判定词尾是否成功。

7．假若都写成功：消除LOG。

8．假若有一端失败：LOG转换成DCL，记录本端LUN和远端LUN的差别数据。

的数据同步支持断点续传功能，当个别故障场景（如单套储存系统故障）造成异常断掉时，通过记录DCL的形式，记录主机新形成的写I/O，DCL采用具有掉电保护能力的Cache空间记录以获得良好的性能。当故障恢复时，将手动恢复镜像关系，而且将所记录的增量数据手动同步到远端，无需全量同步所有数据，整个过程对主机“透明”，不会影响主机业务。

4.4.4.4

为了保证两个数据中心储存的数据实时一致，写操作都须要等待两端储存写成功以后再返回主机“写成功”。设计了一系列I/O性能优化方案，阵列间IO使用SCSI合同进行发送，通过功能对阵列间数据传输进行了合同级优化，将写数据的链路传输交互次数减低一半。前后优化如图所示。

4.4.4.5双活就近优先访问

SAN双活与NAS双活不同，SAN双活由多路径下发写恳求至阵列，可以基于路径进行更好的选择。当双活数据业务场景，两站点的距离远近，是影响I/O访问性能的关键诱因。特点通过与华为多路径配合，按照双活站点布署距离，提供了负载均衡模式(I/O以分片的形式在两个阵列上下发)和优选阵列模式(自动在上指定优选访问阵列)两种I/O访问策略供选择。

负载均衡模式主要应用于双活业务布署在同一数据中心的场景。在该场景下，主机业务访问两套双活储存设备的性能几乎相同，为最大化借助两套储存设备的资源，将主机I/O按分片形式下发到两套阵列上。

优选阵列模式主要应用于双活业务布署在距离较远的双数据中心场景。优选阵列模式可以降低跨站点交互次数，进而提高I/O性能。

针对数据写场景，业务主机直接写本数据中心对应的双活储存阵列，防止主机跨数据中心转发数据，充分借助AA双活能力，AA集群的每位控制器都还能接收写I/O，由本地控制器处理本地主机的写I/O恳求，减轻跨数据中心的转发次数，提高方案整体性能。

5双活数据中心切换方案5.1灾备切换流程

5.2灾备切换步骤

生产中心机房发生灾难，引起信息技术设备（网路、服务器、存储等）故障或数据库与应用系统故障，短时间内难以修补，直接造成生产中心承载业务处理的应用系统未能提供正常服务。当出现灾难场景时可分为数据中心切换、应用系统切换、数据库系统切换、存储系统切换，依据不同的场景须要依照实际情况使用不同策略及方式进行切换，以下为几种典型场景进行切换。

1、数据中心切换

当生产中心发生灾难，比如机房停水等故障，而且暂时未能恢复时须要将整个数据中心切换至灾备中心，所有访问均从灾备中心访问，待生产中心恢复正常后，再将所有系统切换回生产中心。

2、应用系统切换

应用系统切换分为无状态应用切换和有状态应用切换，切换均要通过手工执行操作，不同业务系统需按照实际情况选择适宜方式进行切换。

3、数据库系统切换

数据库系统切换应按照不同的数据库类型（包括、MySQL和等）分别进行切换，切换完成后须要对数据库状态和数据完整性进行验证。

4、存储系统切换

本项目中储存系统采用的双活构架布署，任何一端的储存故障都不会对业务系统形成影响，可以保证业务的连续性。须要注意的是，待故障储存故障恢复后，须要先做数据同步，之后再恢复双活数据复制状态。

6项目总结

在本次项目中，结合我行实际情况，得出双活数据中心项目建设实践中使用华为储存双活技术方案的亮点如下：

秒级切换：SAN和NAS一体化双活典型场景下，通常能在数秒至数十秒内完成双活切换，有效保护业务的连续性。

手动恢复：假如站点A发生故障造成Pair工作站点切换到站点B，在A故障恢复后，可以手动发起重同步，而无需人工接入。在重同步完成后，双活变为正常状态，该状态下站点B再发生故障，双活可以继续切换到站点A，业务不中断。