两地三中心跨Region容灾

    openGauss当前提供基于流式复制的异地容灾解决方案。

    从openGauss 3.1.0版本开始，两地三中心跨Region容灾开始提供该解决方案。

    本节就该解决方案的特性规格与约束进行详细描述，管理人员需重点关注。

    特性规格

    • 主数据库实例或灾备数据库实例内网络时延要求<=10毫秒，主备数据库实例之间异地网络时延要求<=100毫秒。该时延范围内可保证容灾的正常运行，否则会导致主备数据库实例断链等情况出现。

    • 在网络带宽非瓶颈，灾备数据库实例打开并行回放前提下，不同硬件规格可支持主数据库实例日志产生速度如下表所示。在该日志产生速度下可以保证RPO、RTO，否则无法保证。

      表 1 典型配置下日志产生速率

    • 如果磁盘混合部署，应采用低配部分的规格（比如数据库实例内有NVMe和SATA盘，请参考SATA盘配置的规格）。

    • 演练特性：计划内主备数据库实例倒换，无数据丢失RPO=0，RTO<=20分钟(包含主数据库实例降为灾备实例，灾备数据库实例升主两个流程)。

    特性约束

    • 搭建容灾关系前，主集群需创建具有流复制权限的容灾用户，用于容灾鉴权，主备集群必须使用相同的容灾用户名和密码，一次容灾搭建后，该用户密码不可修改。若需修改容灾用户名与密码，需要解除容灾，使用新的容灾用户重新进行搭建。容灾用户密码中不可包含以下字符“| ;&$<>`‘“{}()[]~*?!\n空白”。
    • 搭建容灾的主备集群版本号必须相同。
    • 流式容灾搭建前不支持已存在首备及级联备。
    • 搭建容灾关系时，如果集群副本数<=2，会设置most_available_sync为on，在容灾解除或者failover后此参数不会恢复初始值，持续保证集群为最大可用模式。
    • 搭建容灾关系时，会设置synchronous_commit为on，解除容灾或failover升主时恢复初始值。
    • 灾备集群可读不可写。
    • 灾备集群通过failover命令升主后，和原主集群灾备关系将失效，需要重新搭建容灾关系。
    • 在主数据库实例和灾备数据库实例处于normal状态时可进行容灾搭建；在主数据库实例处于normal态并且灾备数据库实例已经升主的情况下，主数据库实例可执行容灾解除，其他数据库实例状态不支持。在主数据库实例和灾备数据库实例处于normal状态时，通过计划内switchover命令，主数据库实例可切换为灾备数据库实例，灾备数据库实例可切换为主数据库实例。灾备数据库实例处于非Normal且非Degraded状态时，无法升主，无法作为灾备数据库实例继续提供容灾服务，需要手动修复或重建灾备数据库实例。
    • 灾备集群DN多数派故障或者CMS、DN全故障，无法启动容灾，灾备集群无法升主，无法作为灾备集群，需要重建灾备集群。
    • 主集群如果进行了强切操作，需要重建灾备集群。
    • 主集群和灾备集群都支持gs_probackup工具中的全备和增备。容灾状态下，主集群和灾备集群都不能做恢复。如果主数据库实例要做恢复，需要先解除容灾关系，在完成备份恢复后重新搭建容灾关系。
    • 容灾关系搭建之后，不支持DN实例端口修改。
    • 建立容灾关系的主数据库实例与灾备数据库实例之间不支持GUC参数的同步。
    • 主备集群不支持节点替换、修复、升降副本，DCF模式。
    • 当灾备数据库实例为2副本时，灾备数据库实例在1个副本损坏时，仍可以升主对外提供服务，如果剩余的这个副本也损坏，将导致不可避免的数据丢失。
    • 容灾状态下仅支持灰度升级，且继承原升级约束，容灾状态下升级需要遵循先升级主集群，再升级备集群，再提交备集群，再提交主集群的顺序。
    • 建议对于流式容灾流复制IP的选择，应考虑尽量使集群内的网络平面与跨集群网络平面分离，便于压力分流并提高安全性。

    检查点相关参数设置的影响

    • 特性规格中描述的容灾性能指标均为检查点相关参数设置默认值情况下测得。
    • 检查点相关参数描述参见《数据库参考》中“GUC参数说明 > 预写式日志 > 检查点”章节。其中”enable_incremental_checkpoint”为on时，设置自动WAL检查点之间的最长时间将由”incremental_checkpoint_timeout”决定，如果不采用默认值并将其改大，将可能导致实例重启时会有大量日志需要回放，进而影响到容灾指标RTO变大，无法达到特性规格。

    极致RTO相关参数设置的影响

    极致RTO相关参数描述参见《数据库参考》中“GUC参数说明 > 预写式日志 > 日志回放“章节的recovery_parse_workers和recovery_redo_workers参数描述。如果要开启极致RTO，应至少满足每台机器上的逻辑CPU数大于打开极致RTO后额外启动的线程数（计算公式为 (recovery_parse_workers * (recovery_redo_workers + 2) + 5) * 每台机器上的DN实例数），否则可能出现线程对CPU资源争抢的情况，导致容灾流程中部分操作耗时变长，无法达到容灾特性规格。

    容灾搭建

    容灾搭建前主数据库实例业务负载评估

    数据量：

    • 主数据库实例存储数据量，直接影响容灾搭建需要传输的数据量。该值结合异地网络带宽，直接影响容灾搭建时长，可在搭建容灾接口的”time-out”设置超时时间，当前默认值为20min。超时时间的评估与主数据库实例搭容灾前的数据量与异地可使用带宽相关，计算公式为“数据量/传输速率 = 耗时”。

      例如：主数据库实例有100TB数据，异地数据库实例间可用带宽为512Mbps（传输速率为64MB/s），搭建容灾传递这些数据需要时间为1638400s（100*1024*1024/64，大约19天）。

    日志产生速率：

    • 例如：经过计算搭建过程要持续2天，那么这2天内的日志需要在搭建完成前保留在主数据库实例本地磁盘。

    • 如果主数据库实例日志产生速率大于异地传输带宽；或者在带宽充足的情况下，主数据库实例日志产生速率大于灾备数据库实例的日志回放速率，即超规格场景搭建容灾后将导致RPO/RTO无法保持在特性规格水平。

    容灾搭建调用接口

    容灾搭建时需要对主备数据库实例发送搭建请求，参考《工具参考》中gs_sdr工具。

    灾备数据库实例升主failover

    向灾备数据库实例发送灾备数据库实例升主的请求，参考《工具参考》中gs_sdr工具。

    主数据库实例容灾信息清除

    向主数据库实例发送容灾信息清除的请求，参考《工具参考》中gs_sdr工具。

    计划内倒换switchover

    向主备数据库实例发送计划内switchover的请求，参考《工具参考》中gs_sdr工具。

    查询主备数据库实例容灾状态

    向主备数据库实例发送容灾状态查询的请求，参考《工具参考》中gs_sdr工具。

    容灾状态下主备数据库实例升级

    大版本升级
    1. 主数据库实例先升级，主数据库实例升级完成后，备数据库实例升级。
    2. 升级完成后，灾备数据库实例先提交，主数据库实例后提交。
    小版本升级
    1. 主备数据库实例可以同时执行升级命令。
    2. 升级完成后，灾备数据库实例先提交，主数据库实例再提交。

    介绍使用基于流式复制的异地容灾解决方案可能遇到的常见问题，并提供故障处理步骤。

    下表列出了不同操作中问题现象、原因、解决方案。

    容灾搭建异常

    表 容灾搭建错误信息参考

    灾备升主failover异常

    表 灾备升主failover错误信息参考

    计划内倒换switchover异常

    表 计划内switchover错误信息参考

    灾备集群数据库实例故障

    表 灾备集群数据库实例错误信息参考故障描述