灵备CDM的技术及原理

1.1 系统架构

灵备CDM系统采用 B/S、C/S 混合架构，其中管理控制台采用 B/S 架构，便于管理员进行系统运维管理；备份采用 C/S 架构，便于进行备份数据传输。

灵备CDM系统的架构图如下所示：

灵备CDM系统是一个集群系统，由一个或多个节点组成服务器集群，一个或多个客户端连接备份服务器，组成一个完整的集群系统，客户端负责收集数据、传输数据，服务器集群的节点负责接收数据、存储数据以及管理数据。灵备CDM系统主要由管理控制台、备份服务器节点、轻量级客户端三个部分组成，在一体机版本中，管理控制台和备份服务器位于同一设备上，具体详情如下：

管理控制台（Console）

管理控制台是灵备CDM系统的管理和调度控制中心，也是提供数据备份和恢复，系统集中管理的操作平台。它负责集中管理灵备CDM系统中的所有软件组件，系统管理员，安全管理员，审计管理员和操作员通过管理控制台的 Web管理页面协调并执行各个角色对应的操作。灵备CDM系统管理控制台包含数据库集群，用于记录所有的备份系统配置信息、操作历史等。灵备CDM系统管理控制台可以安装在物理服务器或虚拟服务器中。

备份服务器节点

灵备CDM系统采用备份服务器节点来负责接收数据、存储数据以及管理数据。每个备份服务器集群的节点都是活动节点，通过集群 IP 统一访问。

轻量级客户端（Client）

一般来说，需要保护及管理的生产服务器，如物理服务器统称为客户端。为方便与管理控制台进行网络通信和数据传输，一般会在客户端上安装客户端软件。每个客户端只能安装一个客户端软件。客户端软件负责响应管理控制台的命令，执行数据备份和恢复。

⚫ 读取和扫描客户端中需要备份的数据源。

⚫ 将客户端中的数据备份和传输到介质服务器。

⚫ 对客户端中需要备份的数据进行数据源比对，并进行重复数据删除处理。

1.2 技术原理

随着信息化的不断发展，数据备份的重要性逐渐凸显，现在企事业单位的IT信息系统中都存在多份生产环境的备份数据，这些数据占据了至少80%的存储空间，浪费有限的资源，提高了容灾备份以及第二数据平台的建设成本。

豪联灵备CDM系统围绕快速生产数据捕获、副本管理、快速创建数据应用环境，构建起一套功能完善的第二数据管理平台系统，提供包括数据快速备份、备份闪电恢复、开发测试、数据验证、容灾应急演练、数据合规检查的六大创新数据服务，不仅面向稳态IT提供严苛的SLA保障，同时面向敏态IT提供丰富的数据服务。

1）数据捕获：基于SLA的原生格式数据捕获。无需转换数据格式。

2）副本管理：一个原始黄金副本，虚克隆出多个可提供自服务能力的虚拟副本。

3）副本应用：随时随地的数据访问和保护，副本数据可用作恢复、容灾、查询、分析、开发、测试等。

灵备CDM系统的目标是利用副本管理技术将多份相同的备份数据缩减成一份，减少存储容量的开销，以此来提升存储利用率，降低TCO。同时，当涉及到备份副本数据的使用需求时，可通过虚克隆技术创建一份虚拟的可读写的副本数据，直接挂载给业务系统使用。基于灵备CDM系统的虚克隆技术，只占用极少量的空间，有效节省存储成本和时间，特别是对于需要针对同一份数据创建N份副本数据的开发测试场景。此外，灵备CDM系统采用初始全量+以后永久增量的数据备份方式，极大节省备份时的带宽占用，避免因数据备份造成对生产系统的影响。

如上图所示，针对一个10TB数据库提供4个副本的场景，传统方法需要40TB的存储空间占用，备份也要通过全量备份的方式，备份数据的拷贝也需要长时间占用较高带宽，消耗至少数以天计的时间；而通过灵备CDM系统，备份只需要进行增量备份，占用较小的带宽资源，存储容量上至占用10TB和极小的改变量数据，更重要的是可以立即提供这多个虚拟副本，无需繁琐冗长的审核和等待，大大缩短了开发、测试时间，进而缩短产品发布周期。

1.3 产品IT架构

通过灵备CDM系统提供的副本数据管理技术，不仅能极大地降低存储容量开销，提升存储利用率，还可以极大地优化企事业单位的IT架构，在采用灵备CDM系统之前，企业内部依赖于业务数据的流程（如备份、容灾、开发/测试、分析等），都需要从生产系统获取数据，大大增加了生产系统的复杂度和操作风险。而在采用灵备CDM系统之后，这些流程都可以缩减为灵备CDM系统副本数据管理功能的一个步骤，从而降低生产系统的复杂度和操作风险。

采用传统灾备方式的IT架构如下：

这种架构存在诸多缺点：

■ 由多套系统组成：备份软件、容灾软件、磁带库、数据库复制软件、开发测试服务器，管理复杂，运维难度大；

■ 多套系统都需要授权， License许可费用高，且各系统之间互相孤立，存储利用率低，总体建设成本较高；

■ 耗费DBA大量时间成本，运维成本较高；

■ 可扩展性差，不能进行横向扩展，存在性能瓶颈。

采用灵备CDM系统的IT架构如下：

基于灵备CDM系统的IT基础架构具有以下优点：

■ 一套系统，满足备份、容灾、归档、开发/测试、分析等需求；

■ 一套License，降低授权成本；不限数量，通过副本虚拟化技术，极大的提高存储利用率，降低总体建设成本；

■ B/S架构可视化操作，降低管理和运维复杂度；

■ 提升DBA工作效率，节省时间成本；

■ 集群架构，支持横向扩展，不存在性能瓶颈；

1.4 数据捕获

1.4.1 原生格式数据捕获

原生格式数据捕获是指通过应用系统原生的数据访问接口，将数据从应用系统抽取出来，存放到灵备CDM系统中，原生格式的数据在恢复时不需要还原的过程，是实现高效备份、快速恢复以及快速数据访问的一个非常关键的技术。

灵备CDM系统从生产系统获取原生格式数据时，针对不同的环境有不同的接口，主要分为以下三类：

虚拟机：如VMware采用VMware Data Protection 的API。

数据库应用：采用应用的接口，比如Oracle数据库应用采用RMAN作为接口。

文件系统：采用文件系统快照功能作为接口。

下图是ORACLE数据库环境下数据捕获的过程示意图：

在Oracle环境下，会在生产服务器上安装一个针对Oracle RMAN的代理（lb-agent）。灵备CDM系统通过RMAN的镜像复制功能实现全量数据和增量数据的获取。具体备份流程如下：

1. 通过iSCSI数据传输协议，在生产主机上挂载灵备CDM系统提供的备份卷；

2）首次初始化备份时，使用Oracle RMAN Level 0 image Copy将数据库复制到备份卷；后续的增量备份，采用RMAN的数据块增量技术，只拷贝修改过的数据块；

3）在生产主机上卸载该备份卷；

4）在灵备CDM系统中为该备份卷创建时间点快照，完成数据备份。

1.4.2 永久增量备份

传统的备份方案大多采用周期性的“全备+增备”备份策略，其增量备份是不可持续的，经过一段时间就必须执行一次完全备份。传统的备份方案经常面临备份窗口过大的问题，而且其增量备份数据的恢复效率相对低下，因为每个时间点的恢复都依赖于上一次完备副本和上一次完备副本后的所有增量副本，恢复操作需要进行逐个迭代恢复。

灵备CDM系统采用永久增量备份技术，初次备份对所有数据进行完全备份，之后只需对新增加或改动过的数据做增量备份即可。每个增量备份的数据副本将自动合成为完全副本，方便恢复。因而永久增量备份能够大幅度减少备份时间，节省备份数据所需的存储空间，且提升了恢复效率。灵备CDM系统在备份效率、存储容量、带宽占用等方面比传统的备份产品具有较大的优势，归根结底是因为两个关键技术。

1）采用永久增量备份的方式来替代传统的周期性全备+增备的方式，即灵备CDM系统在第一次进行完全备份后，后续所有备份均为增量备份，每个增量时间点在逻辑上均为完整副本，可直接提供出来使用，任意增量时间点逻辑上的损坏，都不影响其他时间点数据的使用。

2）采用CBT（变化块追踪）技术，无需与原始数据进行比对，就能快速识别并获取到自上一次备份后业务系统变化的数据块，极大的缩短了备份时间窗口。

1.4.3 连续日志捕获

为提升数据保护的实时性，针对 Oracle/Oracle RAC、SQL server 数据库的保护，豪联科技通过自主研发的连续日志捕获技术，可以实现数据库任意秒级的恢复。连续日志捕获是基于数据块级的备份，通过实时或定期获取重做日志、归档日志等文件的变化情况，并根据变化情况对日志文件进行实时的持续备份。

连续日志实捕获技术的主要优势包括：

1）将 RPO 降低到秒级，可以恢复至灾难前任意1秒；RTO降低到分钟级，一般10TB大小的数据库，40分钟左右即可完成快速拉起恢复；

2）连续日志捕获可以通过实时或短时间定时的方式，复制的变化数据块非常小，资源占用优于 CDP等其他数据保护技术；

3）无需任何额外软硬驱动程序，只需一个lb-agent轻量化客户端，消耗系统资源少，不影响业务系统的运行；

灵备CDM系统的连续日志捕获技术，实现了对变化数据达到秒级的保护，把对数据库的保护技术推向了一个全新的高度。

1.4.4 后端全量合成

灵备CDM系统基于数据库本身的备份技术特性，开创性地结合文件快照、即时挂载等多方面技术处理，实现数据库的永久增量备份的后端全量合成备份技术能力。在数据文件复制至灵备CDM系统的备份服务器后，首先需要进行增量备份数据与全量的合并，随后生成数据的时间点快照，在生产数据发生故障后，结合捕获的连续日志，可通过挂载的方式实现即时恢复功能。

1）支持Oracle 10g及以上版本数据库、 SQL Server 数据库、MySQL数据库，包括单实例和 RAC 环境；

2）基于 Oracle、SQL Server、MySQL 自身的备份技术特性来实现合成备份，保障数据备份的稳定性；

3）采用块设备和快照技术，实现多备份时间点上全量备份数据的保存；

4）通过即时挂载技术，实现任意时间点备份数据的快速恢复。

1.5 副本管理

1.5.1 备份数据虚拟化

近几年，信息行业比较流行服务器虚拟化技术，通过虚拟化部署可以极大提高硬件的利用率，降低运营陈本。灵备CDM系统通过备份数据虚拟化技术，捕获对企业内部的生产数据，在系统后台创建一个“黄金副本”，并通过快照、快照的快照、虚克隆等技术，保留副本数据历史状态，并提供即时的备份数据访问能力，支撑起企业内部诸如备份、容灾、归档、开发/测试、分析等基于副本数据的应用场景，将应用数据从底层基础架构中释放出来，进而完成 IT 及业务的转型变革。

由于灵备CDM系统只在备份的时候才会把备份卷挂载到生产系统中，备份完成后立即进行unmount操作，此时备份卷对于勒索病毒来说市不可见的，这个时间很短，所以极大降低了灵备CDM系统数据感染勒索病毒的风险。此外，灵备CDM系统本身采用的是linux操作系统，这类系统本身感染勒索病毒的几率市远远低于Windows Server的，这些机制可以极大提高备份数据存储的安全性，避免数据被非法拷贝，有效避免勒索病毒的威胁。

1.5.2 存储池化技术

快照池

灵备CDM系统支持按照需求实例化出来逻辑或物理上隔离的多个快照池，用于短期保存副本数据（一个星期以内），数据以原生磁盘格式存储，未经重删、加密、压缩处理，基于通用SAN协议（IP-SAN或FC-SAN）可直接访问快照池中的指定历史副本数据，支撑浏览恢复、普通挂载、应用感知挂载、克隆、活动克隆等业务功能，副本数据访问性能较高。通用的客户端应用数据捕获载体备份卷是从快照池中分配的。因此，所有应用数据都支持直接存储到快照池。

重删池

灵备CDM系统支持按需实例化出逻辑或物理上隔离的多个重删池，用于中长期保存副本数据（一个星期或更长），数据经重删处理后存储，基于通用SAN协议（IP-SAN或FC-SAN）可直接访问重删池中的副本数据，支撑浏览恢复、普通挂载等业务功能，副本数据访问性能适中。重删池原则上不提供备份卷，因为这会降低客户端应用数据捕获的性能。只有像VMware这类自带非常完善的数据保护接口的应用才支持数据支持存储到重删池。

1.5.3 重复数据删除

灵备CDM系统应用强大的重复数据删除技术，在基于源端的重复数据删除方式的基础上，充分集成变长块和固定块的数据分割技术优势，并通过对数据块的精准数据指纹比对，减少多个备份集之间的数据重复度，既保障了源端重删时对客户端主机资源的最小化占用，又实现了对重复数据的最大化删除，大幅提高企业存储空间的有效使用。

在重复数据删除的实现上，首先进行数据分块处理，接着利用经过向量计算对汇编指令做了性能优化的哈希（hash）算法，为每个数据块建立指纹信息，系统通过计算并检查数据块的“指纹”，判断该数据块是否与已经存储的“元数据”重复。

⚫ 如果重复，则只需要保留指向该“元数据”的指针。

⚫ 如果“指纹”显示该数据块（或文件）是全新的，则保留该数据块，并提取相关信息作为“元数据”保存，供以后使用。

灵备CDM系统集合了固定块和变长块的分割技术，对不同的备份目标类型选用合适的 数据分块技术。同时，采用变长块分割技术可以针对不同范围内的数据对象进行动态分块，使得数据块的匹配概率和效率更高。

⚫ 支持用户选择采用变长块分割技术。

⚫ 支持用户自定义固定块分割的块大小。

⚫ 支持同一存储池中存放多种资源的重删数据，并根据各种资源特性自适应块大小。

⚫ 基于行业经验，为用户提供有效的分割技术选用指引。

⚫ 支持对去重后备份数据的加密存储。

⚫ 提供对去重后备份数据的生命周期管理。

1.5.4 基于SLA策略驱动的副本管理

灵备CDM系统通过允许用户自定义SLA（服务等级协议）策略，引入新的数据保护模式。有别于传统灾备产品简单基于计划任务的策略，SLA策略定义了数据捕获频率、数据存储类型、数据复制频率以及数据保留周期等内容，直面灾备建设中用户关注的焦点问题：RPO，RTO和SLA，通过一个视图直观的向用户呈现数据历史时间点间隔、数据存储位置、异地复制频率及状态、数据保留周期等内容。同时，灵备CDM系统提供了SLA策略模板的功能，支持SLA策略复用，方便组织根据自身行业和内部业务系统的整体SLA要求，定义并轻松部署统一的SLA框架。

1.6 副本应用

1.6.1 即时挂载

灵备CDM系统通过备份数据存储虚拟化技术和快照技术对备份副本数据进行管理。首先将磁盘进行虚拟化，通过池化的方式将所有磁盘存储资源进行管理，形成契合副本数据管理业务需求的存储池（当前支持的存储池类型有快照池和重删池），然后动态从存储池中分配出一个个虚拟卷，提供给副本数据管理任务使用。同时，结合无限快照技术，满足副本数据历史时间点保留及使用的需求。

即时挂载本质上将指定副本数据历史点时间快照的快照通过iSCSI数据访问协议提供给主机访问，该过程中原始数据并不会移动，亦不会改变指定副本数据历史时间点快照，因此，一份副本数据（基于时间点的快照）可以通过虚克隆技术生成多份虚拟副本数据，同时挂载给多个不同的主机使用，以满足快速恢复、开发、测试、分析查询等不同的业务需求。 灵备 CDM系统支持ORACLE、SQL Server、MySQL、文件系统、VMware虚拟化平台的即时挂载恢复，即时挂载恢复均通过平台提供的应用接口方式实现。

1.6.2 快速拉起

灵备CDM系统提供统一的管理界面，用户可以独立自主的选择指定时间点的备份数据集，通过系统提供的快速拉起功能，可以即时将备份数据拉起应用，轻松便捷地实现单位内部副本数据的再利用，以及快速验证备份数据的有效性。特别是对于具有开发测试需求场景的，不需要像传统做法那样需要冗长访问权限申请、副本数据创建。通过灵备CDM的快速拉起功能，有效验证了备份副本数据的有效性，同时大大提高了开发测试环境的搭建效率，缩短了内部应用程序的发布周期。

1.6.3 克隆技术

克隆技术是灵备CDM系统提供的有别于即时挂载的副本数据访问方式。克隆基于指定时间点的备份黄金副本（快照时间点）生成虚拟副本（克隆卷），然后通过iSCSI协议映射到目标主机，在目标主机上可直接访问该虚拟副本，但是数据依旧存放于灵备CDM系统中，并不在目标主机上。克隆操作会生成一份全新的备份数据虚拟副本，并且与原时间点备份黄金副本完全独立，在上面进行的任何操作都不会影响原备份数据。此外，一个黄金副本可在同一时间生成多份虚拟副本，各虚拟副本之间也相互独立，互不影响。该项功能主要适用于单位内部要求基于独立的副本搭建开发测试环境的场景，测试库崩溃后可立即快速拉起一个新的库，是DBA的好帮手。

原文链接：https://blog.csdn.net/Jasen12/article/details/120899885