Задайте и проверьте RTO и RPO

Определите две отдельные цели

Recovery Time Objective (RTO) задаёт максимально допустимую длительность прерывания, до истечения которой полезная работа сервиса должна восстановиться. Recovery Point Objective (RPO) задаёт максимально допустимую потерю данных, измеренную во времени. Согласуйте эти цели с владельцем со стороны бизнеса для определённого сервиса и сценария отказа.

Целевая доступность описывает работу сервиса за некоторый период. RTO и RPO описывают ожидания от восстановления. Они отвечают на разные вопросы.

Для вымышленного сервиса заказов владелец задаёт RTO 60 минут и RPO 15 минут. Это значения для примера, а не общие рекомендации. Другому сервису могут понадобиться другие пределы: потерянные заказы и задержанные отчёты имеют разные последствия.

Измерьте полное восстановление

Сервис останавливается в 10:00. Команда фиксирует ход упражнения:

Полное время восстановления составляет 55 минут. Упражнение укладывается в RTO 60 минут. Если учитывать только 25 минут самой операции восстановления, большая часть прерывания останется незаметной.

Последняя пригодная точка восстановления относится к 09:40. Разрыв до прерывания в 10:00 составляет 20 минут. Это превышает RPO 15 минут на 5 минут. Более быстрое восстановление тех же данных не сократило бы этот разрыв.

Проверьте фактически отсутствующие или несогласованные записи. Временной разрыв описывает риск потери, но не считает затронутые заказы. Сверьте внешние записи платежей и исполнения заказов перед возобновлением обычной обработки. Попробуйте другие исходные условия в упражнении по восстановлению.

Выберите стратегию восстановления

Стратегия должна охватывать необходимые сервис, данные и зависимости. Сравните эти варианты с измеренными целевыми показателями:

Универсального времени восстановления для этих вариантов нет. Результат определяют реализация, объём данных, зависимости и условия проверки. При принятии решения учитывайте затраты на эксплуатацию и возможности команды.

Защищайтесь не только от простоя

Реплика может скопировать нежелательное удаление или повреждённую запись. При необходимости сохраняйте восстанавливаемые версии или возможность восстановления на определённый момент времени. Проверьте сроки хранения, разрешения на восстановление и доступ к ключам шифрования. Выберите изоляцию резервных копий под сценарий, включая потерю доступа к основному аккаунту.

Для регионального восстановления проверьте разрешённое расположение данных и всю цепочку зависимостей. Учтите идентификацию, DNS, сертификаты, секреты, артефакты развёртывания, квоты и сетевой доступ. Среда восстановления без одного необходимого ключа может оказаться непригодной.

Определите, кто объявляет о событии, кто выполняет восстановление и кто принимает восстановленный сервис. Спланируйте возврат в исходную среду или продолжение работы в среде восстановления. Не допускайте конфликтующих операций записи и сверяйте данные перед повторным переключением.

Подтвердите план результатами

Напишите runbook и проверьте его в контролируемых условиях. Зафиксируйте сценарий, размер набора данных, время начала и завершения, точку восстановленных данных, неудавшиеся шаги и владельцев. Проверьте реальную бизнес-операцию на безопасных тестовых записях.

Повторяйте упражнение после значимых изменений и по согласованному расписанию. Изменение схемы, новая внешняя зависимость или другой объём данных могут сделать прежние результаты неприменимыми. Свяжите подтверждения упражнения с релизом и обязанностями по эксплуатации.