鼎甲数据备份与恢复系统

1 概述

1.1 产品简介 鼎甲数据备份与恢复系统（简称：迪备，英文名：DBackup）作为企业级数据安全保 护管理平台，支持对业务系统的定时和实时备份、异地容灾、连续数据保护等功能，适用 于操作系统、数据库、文件、虚拟机、云平台等应用，有效实现对业务系统的全方位保 护。此外，DBackup 还提供数据副本管理，可克隆出多个历史时间点的虚拟副本，用于开 发测试及灾备场景的快速切换使用，针对 Oracle 和 MySQL 数据库，结合独特的连续日志 保护功能，保证副本数据 RPO 趋近于 0。

鼎甲迪备（DBackup）的特点与优势如下：DBackup 是一款数据保护管理产品，用于 保护管理用户数据和应用，数据资源种类覆盖面广，保护方案全面、高效，可根据实际用 户环境进行针对性的灵活适配，广泛适用于政府、金融、运营商、医疗、制造等行业。

 多场景：面向传统数据中心、云计算、大数据三大场景，覆盖操作系统、数据 库、文件、虚拟机、云平台等应用。 

 全方位：提供全生命周期的数据保护方案。

 精细化：MySQL 数据库的热备份、Informix 数据库的热备份、Exchange 单邮件 恢复、Oracle 事务级精准的恢复和撤销等。 

 高效化：独特的连续日志备份，RPO 趋近于 0，基本不占用业务系统资源，帮助用 户实现更高效的数据保护。另外结合高效数据压缩和重删技术，极大地节省了备份数 据传输和存储成本。 

 多副本：利用合成备份和块设备快照技术，一次全备永久增备，极大缩减备份窗 口，节省存储资源，提高恢复效率，直接挂载恢复 RTO 为分钟级。另外结合连续 日志备份，可使副本数据 RPO 趋近于 0。

1.2 系统架构 

1.2.1 技术框架 DBackup 的系统架构基于 B/S 体系，具有开放性、可扩展性、强适应性等特点。在业 务模块的构建上，充分考虑多层体系结构，基于“高内聚低耦合”的思想，实现了模块化 的设计，具体模块包括：各代理端备份/恢复插件、CDP、作业管理、资源管理、监控管 理、数据管理、存储管理等。满足企业内外部任何平台上数据的备份和恢复，相关技术在 国内外均处于领先地位。

                            图 1-2 DBackup 功能架构

DBackup 支持多地区分布式部署备份系统，通过多级统一管理和监控，实现企业整体 备份体系的集中化监控管理。

1.2.2 系统组件 

1.2.2.1 组件简介 DBackup 主要由以下几大组件构成：备份服务器（Backup Server）、存储服务器 （Storage Server）-存储池、代理端（Agent）、控制台（Web）。典型的部署架构是：一台 备份服务器，一个或多个存储服务器，多个 Agent。

 备份服务器可视为整个备份系统的“大脑”，负责任务调度，以及管控所有代理 端、存储服务器、备份恢复作业等资源和数据。一个备份系统只有一个备份服务 器。

 控制台为 Web 管理界面，可对备份源、存储介质、备份作业做配置管理（实际这 些管控数据存放在备份服务器上）。 

 代理端安装在生产服务器上，支持即插即用，弹性扩展。用于执行备份/恢复时的 读写作业（实际备份数据存储到存储服务器）；针对部分数据库，还可以执行数 据同步作业，实现两个客户端数据库之间的数据实时同步。部分资源代理支持安 装在备份服务器或其它宿主机上，比如 MySQL、MongoDB 手动输入实例备份代 理，还有像 HDFS 和虚拟化无代理备份，可直接通过服务端部署备份模块向虚拟 化平台进行读写数据。

 存储服务器负责存储备份数据，可部署一台或多台存储服务器。DBackup 引入 “存储池”的逻辑概念，一个存储服务器可创建多个存储池，备份作业指定某一存 储池写入备份数据集。通过不同“存储池”的池复制功能，实现同一存储服务器 或者不同存储服务器之间的备份数据远程复制功能。

 支持定期把备份数据、Catalog 等数据复制到异地存储服务器或对象存储上，实现 备份数据的异地容灾。

注：文档中会用“备份存储服务器”表示备份服务器和存储服务器的一体化组合。

1.2.2.2 备份服务器（Backup Server）和控制台 备份服务器提供了 DBackup 管理平台，负责管理备份代理端、存储服务器的接入， 统一监控和管理各客户端资源的备份、恢复等业务信息，并保存备份集的 catalog 信息。

DBackup 管理平台对资源、业务、用户、存储等数据进行集中统一管理，主要特点包 括： 

 采用前沿的平面化界面设计理念，结合移动终端的 APP 设计风格，提升了产品的 界面交互能力、业务响应速度、时尚美感体验。

 集成了数据备份、CDM、CDP、数据库复制等备份容灾功能，实现了备份容灾的 全局化统一运维管理。

 采用向导式来配置各种类型的备份作业，极大简化业务配置。

1.2.2.3 存储服务器（Storage Server）

存储服务器负责接收和存储客户端推送过来的备份数据（备份集、CDP 数据等）， 存储服务器可以构建成分布式重删集群，存储服务器支持主流的存储介质：

 支持 SSD、SAS、NLSAS、SATA 等接口的磁盘。

 支持 IBM、昆腾、互盟、易华录等主流品牌的磁带库、虚拟带库、光盘存储系统 等。

 支持亚马逊云、阿里云、百度云、微软云、华为云、腾讯云、新浪云、浪潮云等 主流云平台存储。

1.2.2.4 代理端（Agent）

部署在客户端服务器，连接备份服务器，由备份服务器进行统一操作管理。

代理端支持在物理机、虚拟机等不同环境中部署，代理端接收备份服务器的作业调 度，并直接连接存储服务器，执行备份或恢复的任务，通过对备份数据进行采集、去重、 压缩、限速等处理，降低数据传输对带宽的占用率，同时提升数据的备份效率。

2 通用数据保护组件

2.1 功能简介 通用数据保护，一般为定时周期性备份，存在备份时间窗口，可以根据现场对业务数 据的 RPO 和 RTO 要求制定具体备份方案。RTO（Recovery Time Objective)表示恢复时间 目标，RPO（Recovery Point Object)恢复点目标。

2.2 工作原理 通用数据保护的整个过程可以简单的分解为 3 步：

1. 确定好要备份的源数据并通过代理客户端对数据进行读取，根据不同应用，选择代理 客户端的部署方式，目前分为有代理和无代理备份；

2. 根据备份选项，确定对源数据的备份处理逻辑，例如全备还是增备，是否压缩、加 密、重删等。另外还可以选择具体网络传输方式，例如 NBD、LAN-Free 等；

3. 存储服务器收到数据后，写到指定的存储介质上，例如磁盘、磁带、对象存储等。        

2.3 备份类型 

不同的应用类型支持的备份类型各有差异。常见备份类型包括如下表所示：

表 2-1 常见备份类型说明           

  DBackup 除了支持上述的所有备份类型，还提供“合成备份”类型。 合成备份只需做一次全备，后续备份全部采用增备形式。DBackup 会基于第一份全量 备份数据，将随后的增量备份集进行合并，生成新的全量备份数据。DBackup 的合成备份 还结合了块设备快照技术，每次新合成最新全量备份集后，都会执行快照。时间点恢复则 是通过选择不同时间快照点以及结合日志备份实现。

目前 DBackup 全面支持文件、数据库和虚拟机的合成备份，兼具了备份时间短、还 原时间快的优点，大幅提升备份与还原的处理效率。  

2.4 重复数据删除 

2.4.1 功能简介 

在大数据时代背景下，业务数据呈现爆炸式增长且存在庞大的冗余数据。备份作业中的 冗余数据，加大了带宽和存储的资源消耗，拉长了备份时间窗口，甚至还会影响到业务系统的 正常运行。

重复数据删除技术旨在删除冗余的备份数据、确保同样的数据信息只被保存一次。在 此背景下，DBackup 推出精准重复数据删除技术，大幅提升备份性能，降低用户在数据传 输和存储上的成本。

注：重复数据删除为通用型功能，适用于 DBackup 支持的数据库、文件、虚拟化备 份。

2.4.2 工作原理

DBackup 的精准重复数据删除技术，基于源端的重复数据删除方式，充分集成变长块 和固定块的数据分割技术优势，并通过对数据块的精准数据指纹比对，减少多个备份集之 间的数据重复度。源端重删不但最小化占用客户端主机带宽资源，又因重复数据的最大化 删除，大幅提高备份存储空间的有效使用。

在重复数据删除的实现上，首先进行数据分块处理，接着利用经过向量计算对汇编指 令做了性能优化的哈希（hash）算法，为每个数据块建立指纹信息，系统通过计算并检查 数据块的“指纹”，判断该数据块是否与已经存储的“元数据”重复。

如果重复，则只需要保留指向该“元数据”的指针。如果“指纹”显示该数据块（或文 件）是全新的，则保留该数据块，并提取相关信息作为“元数据”保存，供以后使用。    

2.4.3 功能特点 DBackup 集合了固定块和变长块的分割技术，对不同的备份目标类型选用合适的数 据分块技术。同时，采用变长块分割技术可以针对不同范围内的数据对象进行动态分块， 使得数据块的匹配概率和效率更高。

 支持用户选择采用变长块分割技术。

 支持自定义固定块分割的块大小，包括：4KiB、128KiB、256KiB、512KiB 等。

 支持同一存储池中存放多种资源的重删数据，并根据各种资源特性自适应块大 小。

 基于行业经验，为用户提供有效的分割技术选用指引。 

 支持对去重后备份数据的加密存储。

 提供对去重后备份数据的生命周期管理。

2.4.4 分布式重删集群 

针对海量备份数据的重删，DBackup 推出了分布式重删集群。重删集群具有高扩 展性、负载均衡、高可靠性和多架构兼容等特性。

 高扩展性：最低支持 2 节点，最高可扩展至 64 节点，支持动态伸缩重删节 点。

 负载均衡：采用计算和存储的均衡处理技术，将重删业务生成的数据块分发 到不同节点存储。

 高可靠性：支持备份数据的多副本存储，通过冗余技术避免单点故障。

 多架构兼容：存储服务节点支持多种处理器架构，包括英特尔、飞腾、鲲 鹏、海光、龙芯等。

2.5 数据加密 

为保障网络传输和数据存储过程中备份数据的安全性，DBackup 支持对数据传输通道 和存储池中的备份数据加密处理，提供多种数据加密算法供用户选择，用户可根据企业安 全级别选择合适的加密算法。

 支持 AES 加密算法，用户可以根据密级要求选择不同的密钥长度。

 支持 Blowfish 加密算法。

 支持 SM4 国密算法。 

注：数据加密适用于 DBackup 支持的所有应用数据。

2.6 数据压缩 

DBackup 采用高密度的数据压缩技术对备份数据进行压缩，从而降低数据传输代价， 提高备份效率，并大幅度降低备份集对备份存储空间的占用。

DBackup 备份数据压缩率支持“可调节”，提供 29 级压缩率，支持从低压缩率（高 压缩速度）至高压缩率（低压缩速度）进行调节。其中“1”为极速低压缩率，“8”为平 衡，“29”为低速高压缩率。

注：数据压缩适用于 DBackup 支持的所有应用数据。

2.7 数据保留策略

DBackup 为备份数据提供了备份集生命周期管理功能。通过在存储池设置合理的数 据保留策略，能够更加有效的利用存储空间，提高空间利用率。 

 可设置备份集保留配额，在每个资源至少保留一份完整可恢复的备份集的前提 下，存储池超过保留配额后会自动回收最早备份的备份集。

 可设置备份集保留天数，在每个资源至少保留一份完整可恢复的备份集的前提 下，超过保留天数的备份集会自动回收掉。

 可设置默认全备保留最小个数，超过全备个数，将自动回收掉最早备份的全备备 份集。

 提供备份集的快速查询和手动删除操作，方便空间回收。

2.8 流量控制 

为了避免数据备份时占用大量传输带宽，影响到用户核心业务的处理，DBackup 提供 了自定义限速设置，用户可以自定义不同时间段的数据传输最大速度。 

 支持自定义客户端到存储服务器之间数据传输速度。

 支持自定义存储服务器到存储服务器之间的备份数据复制速度。

 支持多个时间段的限速设置：用户可根据业务系统不同时间段的繁忙程度，智能 控制备份作业在不同时间段的带宽占用，合理化地利用好备份所需的计算和带宽 资源。

 限制传输速度支持的最小单位为 MiB/s。 

2.9 数据保护 

2.9.1 文件系统数据保护

DBackup 支持对不同操作系统平台下文件的备份、同步和恢复。包括 Windows、 Linux、 AIX、 Solaris、 HP-UX，以及龙芯、飞腾、申威、海光、兆芯架构下中标麒麟 操作系统、银河麒麟操作系统、中科方德操作系统等。 针对信创环境，通过文件在异构环境的交叉恢复，可以实现将原有 Windows 平台文 件恢复到国产操作系统上。 文件保护基于系统级的文件块备份，面对用户的海量小文件，采用多级索引和数据采 集的并发处理技术，同时支持多通道的数据备份，加快文件的整体备份速度，相比普通备 份的用时缩短了 10-20 倍。

 支持备份类型包括：完全备份、增量备份、差异备份、合成备份。

 Windows 下的文件备份支持快照备份功能，有效解决文件被锁情况下的备份。

 支持恢复类型包括：按时间点恢复、增量恢复、挂载式即时恢复。

 支持 Windows 和 Linux 之间文件备份集的交叉恢复。

 支持仅备份同一文件系统的文件（选项名：“跨文件系统”）：备份作业如果不 勾选此选项，则备份时仅备份源目录所属文件系统的文件（比如源目录文件系统 是 Linux，但如果实际发现要备份的文件属于 HP-UX，则跳过不备）。 

 支持备份 Windows NTFS 重解析点类型文件（dedup）：该功能支持完整备份恢 复 Windows 重删磁盘上的文件。

 支持对失败的文件备份作业进行自动重试：提供自动重试的次数和时间间隔设 置。

 支持 Linux、Unix 的文件备份数据恢复到 Hadoop 分布式文件系统（HDFS）中。

 支持 Linux、Unix 的文件备份数据恢复到对象存储中。

 支持数据的过滤功能，通过包含、排除等方式，实现对文件数据的精细化提取。  支持通过配置前后置脚本，实现文件数据备份前和备份后的自定义处理操作。

 采用断网续传技术，保障弱网络环境中文件数据的完整而高效的传输。

 支持对单个或多个文件，在原路径或自定义路径上的恢复。

 支持文件恢复时跳过已存在文件。

 通过 D2T 技术，支持把客户端的文件备份数据直接存储到磁带库中，并可提取磁 带库中的备份集数据直接对客户端进行恢复。 

 通过 D2C 技术，支持把客户端的文件备份数据直接存储到公有云存储平台，并可 提取云存储平台中的备份集数据直接对客户端进行恢复。

 DBackup 根据文件数据的属性情况，采用变长块进行数据分割，提高重复数据删 除的重删率。

 支持文件恢复演练：将文件备份最新备份集周期性地恢复到目标机或本机，结合 每小时、每天、每周、每月恢复计划使用，从而检验备份集是否可用。

 用户可根据客户端的资源情况，自定义数据备份的传输通道，对文件信息分片后 进行传输，提升数据备份的传输效率。

2.9.2 操作系统数据保护

通过简单的图形化界面操作即可迅速完成 Linux 和 Windows 等主流操作系统的备 份。当服务器因软硬件故障而造成操作系统损坏时，可以通过 P2P、 P2V、 V2V 等多 种方式实现操作系统恢复，将最新的备份副本还原到计算机系统上，使操作系统恢复正常 运行状态。

 即时恢复：支持将 Windows 操作系统的备份数据直接转换为 VMware、 KVM、 H3C 等虚拟平台支持的数据，通过挂载方式实现即时恢复。 

 引导恢复：支持操作系统的裸机还原，减少重新部署后配置应用环境的时间。

 驱动替换：操作系统恢复过程中提供驱动程序更换界面，允许客户针对不同的驱 动程序进行调整。

 服务器平滑迁移：支持 P2P、 P2V、V2V 等模式的操作系统恢复，为服务器的升 级、迁移和大规模部署提供完善的解决方案。

 兼容鲲鹏和 FT2000 架构下的 Linux 操作系统的备份与恢复。

 支持通过 PXE 方式恢复 Linux 操作系统。

 细粒度文件恢复：支持基于文件级的数据恢复。

2.9.3 数据库应用保护 数据库存放着业务系统的核心数据，其重要性不言而喻。虽然一般数据库都自带备份 功能，但是自带的备份恢复功能较为单一，且实际操作难度较大，基本不存在备份相关的 管理能力，加之企业的数据库类型较多，所以自带的备份恢复功能远远无法满足政企对数 据保护的需求。 DBackup 的数据库备份管理模块，兼具功能齐全、性价比高、操作简便、兼容性强等 特点，完美地解决了以上的备份问题。DBackup 只需在生产服务器上安装相应的代理端， 并连接备份服务端，就可以全程在图形化界面下进行备份管理操作。目前 DBackup 支持 不同操作系统平台下不同数据库的备份和恢复。具体支持的数据库包括 Oracle、 SQL Server、 MySQL、 MariaDB、GoldenDB、HotDB、Sybase、 DB2、 Informix、 MongoDB、 PostgreSQL 、Caché、SAP HANA 等各种主流数据库，同时支持高斯 （GuassDB）、openGuassDB、达梦（DM）、人大金仓（Kingbase）、南大通用 （GBase）、神舟通用（ShenTong）（包括读写分离集群）、瀚高（HighGoDB）、优炫 （UXDB）、TDSQL-MySQL、TDSQL-PG（原 TBase，支持单实例和分布式集群）、星瑞 格（SinoDB ）等国产数据库。

2.9.3.1 数据库备份整体流程

1. 通过控制台，创建备份作业（选择备份源、备份策略、备份存储）；

2. 源端服务器获取作业信息，调度相应代理端；

3. 代理端根据作业信息，读取需备份的数据；

4. 代理端读取数据后，根据备份选项，执行相应的数据处理（去重、压缩、限 速）；

5. 存储服务器接收数据，根据作业信息，写入到存储介质上；

6. 备份完成，记录备份集信息，以便后续恢复

2.9.3.2 数据库恢复整体流程

1. 通过控制台，创建恢复作业（选择备份集、恢复策略、恢复目的地）；

2. 数据库服务器获取作业信息，调度相应代理端；

3. 代理端根据作业信息，读取需恢复的数据； 

4. 存储服务器读取备份集，发送给数据库服务器；

5. 代理端接收到数据，进行相应数据处理；

6. 执行恢复操作； 

7. 恢复完成，记录恢复信息。

2.9.3.3 Oracle 数据库保护

Oracle 采用内置 RMAN 技术，RMAN（Recovery Manager）是 Oracle 内置备份工 具。RMAN 在 Oracle 8i 及后续的版本中得到有效的支持。实现整个数据库或数据库组件 的备份，如：表空间、数据文件、控制文件、归档文件以及 Spfile 参数文件等。RMAN 也 支持增量备份，只备份自上次备份以来有变化的数据块。RMAN 提供的备份接口，允许 与第三方的备份软件对接，提供更强大的备份与恢复管理功能。 技术特点和功能优势：

 备份方式：物理备份、逻辑备份、日志备份。

 支持 Access Key 和操作系统认证登录。

 备份类型：完全备份、增量备份和事务日志备份。

 备份粒度：实例数据、逻辑数据（Data Pump 导出和传统导出）、日志。 

 支持的恢复粒度：介质恢复（实例、控制文件、参数文件、日志文件），指定时 间点恢复（支持查找 SCN 进行精确时间点恢复）、指定 SCN 恢复、表级恢复。 

 恢复目标：支持恢复原机数据库或异机相同 Oracle 大版本数据库。

 支持 BCT 选项：增量备份可通过 BCT 直接定位变化的数据块，加速增量备份 速度。

 归档日志保留策略：删除所有已备份的归档日志、保留某几天/小时的归档日志、 不删除归档日志。

 非归档模式下策略：可选择报警并跳过备份、执行脱机备份、自动启用归档并备 份。 

 支持多通道备份恢复：通道数 1~255。

 最小附加日志：开启了最小附加日志后产生的日志文件可以用于事务日志分析 （该操作为一次性操作）。

 支持对 Oracle PDB 表空间的物理备份。

 支持对 Oracle PDB 数据库和表空间的逻辑备份。

 支持 Oracle 表空间和表级异机恢复。 

 支持执行恢复作业时自动创建 Oracle 实例。 

 支持自动选择 Oracle 最短恢复时间的时间点（恢复到备份状态）。

 支持 Oracle 表空间、表级时间点挂载恢复。 

 支持压缩后逻辑导出 Oracle 至缓存目录。

 支持自定义归档日志备份的触发条件，具体条件包括“未备份日志数量大于多 少”、“未备份日志小于多少”、“剩余空间小于多少”、“剩余空间小于总存 储多少比率”。 

 支持对物理和逻辑备份集的恢复演练，可创建定期异机恢复作业，实现自动恢复 最新备份集数据。Oracle 还可选择某一时间点进行恢复演练。

 支持与 NBU 共同保护同一 Oracle 实例：DBackup 通过合成备份、设置归档日志 备份次数为 2 以及设置归档日志只由 DBackup 回收删除，可以实现与 NBU 共同 保护同一 Oracle 实例；与 NBU 共同保护时，针对过期备份集，DBackup 只会回 收属于自己的备份集。  高级设置中，还有断线重连、速度限制、前置条件、前置脚本、后置脚本和自定 义 RMAN 命令功能。

2.9.3.4 Oracle CLRP（连续日志备份）

为提升 Oracle 数据保护的实时性，鼎甲科技通过对重做日志运行机制的深入剖析和 重现，推出了连续日志实时保护功能（CLRP）。 CLRP 通过对文件系统的消息监控，实时捕获重做日志文件变化的数据，并同步到备 份存储中，保证备份存储与业务生产系统数据的实时一致性。RPO 趋近于 0，并且支持恢 复到任意时间点。

原理相关知识点介绍 

 Oracle 使用重做日志（redo logs）实现 WAL（write-ahead logging），所有事务的 提交都会预先写入到磁盘上的重做日志。

 重做日志以固定大小的数据块为单位，按顺序连续写入。

 通过实时监控捕获在线重做日志变化的数据，并同步到备份存储中，即可保证备 份数据与业务生产系统的实时一致性。

 Oracle 数据库有多个重做日志文件，重做日志文件会循环使用。一般当产生一个 检查点或重做日志写满时会产生一个归档日志文件。  使用备份+重做日志（归档日志+在线重做日志），支持将数据库恢复到任意时间 点。 备份流程 1. 需要保证有一份 Oracle 完整数据备份集，通过周期备份作业生成； 2. 备份最近一次备份后生成的所有归档日志和所有在线重做日志，并确定当前日志及 已使用的数据块； 3. 通过监控文件系统变化及跟踪当前日志数据块的变化，可实时发现并备份新写入重 做日志的数据块，使备份存储上的重做日志与业务系统保持一致。（重做日志发生 切换时，可实时发现并备份新生成的归档日志）； 注：每次备份都记录了最后成功备份的日志块，如果出现网络异常，后台会定期重 试，持续监控是否有新数据块并对其进行备份，保证备份端与生产端数据的一致性。

恢复流程 恢复前要求目标数据库至少启动到 STARTED 状态，由于备份了完整的归档日志和重 做日志，所以恢复时可选择任意时间点进行恢复。 

1. 选择恢复时间点后，使用最近的物理备份对数据库做还原(recover)操作；

2. 使用该时间点前的归档日志和重做日志做恢复(restore)操作；

3. 恢复成功后打开数据库并重置日志(resetlog)。 功能优势 

 低 RPO：将 RPO 降低到秒级，正常负载条件下 RPO 平均为 0.2 秒。

 细粒度：只备份重做日志新增的数据块，数据量远小于卷级同步的方式，对系统 资源、带宽、存储空间的占用可以忽略。

 低成本：不依赖于硬件。

 稳定性：备份程序实现在用户空间，没有引入任何软硬件驱动程序。即便备份程 序异常或崩溃，也不会影响业务系统的稳定性。

 健壮性：加入在 ASM 环境下检查磁盘空间功能，从 ASM 复制归档日志到本地 文件系统时，如果文件系统空间小于归档日志大小+500M 或使用率大于 90%，则 会报空间不足，暂不备份归档日志，下一次切换归档时如空间足够再重新备份。

 兼容性：支持所有平台的 Oracle 数据库，包括 Windows、Linux、AIX、HP-UX 和 Solaris。兼容支持 Oracle ADG。