# 生产级容灾演练：RTO、RPO、故障注入、切换与回切完整流程
没有演练过的容灾方案，只能算文档。一次合格演练必须验证人员、流程、权限、数据、网络、应用和监控，而不只是证明备用机器可以启动。
## 一、定义目标与边界
RTO 是允许恢复业务的最长时间，RPO 是允许丢失数据的最大时间窗口。应按业务链路分别定义，而不是整个系统只写一个数字。明确演练环境、影响范围、停止条件、业务低峰窗口和总指挥。
## 二、演练前检查清单
- 备份最近一次恢复验证是否成功。
- 主备数据库复制延迟和数据一致性是否正常。
- DNS TTL、负载均衡、证书、密钥和防火墙规则是否就绪。
- 备用环境镜像、配置、依赖和容量是否匹配。
- 发布、监控、告警、登录权限和应急账号是否可用。
- 回切方案、回滚条件和联系人是否明确。
演练前冻结无关变更，并建立专用沟通频道和时间线记录。
## 三、设计故障场景
从单点到组合故障逐步升级：单实例故障、单节点故障、可用区网络隔离、数据库主库故障、对象存储不可用、DNS 异常、消息积压。故障注入必须可控、可观察、可终止，严禁临时发挥。
## 四、切换流程
1. 监控发现并确认故障，记录 T0。
2. 总指挥宣布进入容灾流程，冻结发布。
3. 数据负责人确认复制状态和可接受的数据缺口。
4. 执行数据库提升或存储挂载，防止双主写入。
5. 启动备用应用，完成健康检查。
6. 切换负载均衡或 DNS，逐步放量。
7. 通过核心业务用例、数据校验和监控确认恢复。
8. 宣布业务恢复并记录实际 RTO/RPO。
## 五、防止脑裂和数据二次损坏
切换前必须确认旧主已隔离，使用 fencing、STONITH、写入开关或网络隔离避免双写。对异步复制系统，提升前记录位点；业务恢复后核对订单、支付、库存等关键表。
## 六、回切流程
回切不是简单把流量切回。先重建原主、完成增量同步和一致性验证，再小流量验证，最后全量切换。任何指标异常立即停止回切。
## 七、验收与复盘
核对实际 RTO/RPO、告警发现时间、决策时间、执行时间、数据差异、手册偏差和人工依赖。整改项必须有负责人、期限和验证方式。至少每半年演练一次，重大架构变更后补充专项演练。