Управлявайте инцидент от откриване до възстановяване

Обявете инцидента според ефекта

Инцидент е събитие, което прекъсва, влошава или заплашва услугата достатъчно, за да изисква координирана реакция. Организацията Ви определя нивата на тежест и правилата за ескалация. Прилагайте ги според ефекта върху потребителите, засегнатите данни, продължителността и обхвата.

Не чакайте пълно обяснение на първопричината, преди да поискате помощ. Ясно описание на наблюдавания ефект е достатъчно за начало на координацията. Разграничавайте подозрение за проблем със сигурността от потвърден извод.

Подгответе пътя за реакция преди пускане. Пазете контакти, процедури за достъп, оперативни инструкции и комуникационни канали достъпни при недостъпна основна услуга. Упражнете този път с измислен инцидент.

Разпределете отговорностите преди противоречащи си промени

Координацията на инцидента определя приоритети и управлява решения. Техническите специалисти проучват и ограничават проблема. Комуникацията информира засегнатите хора. Google SRE описва тези отговорности като отделни роли. Малки екипи могат да комбинират роли, но все пак трябва да покриват работата. Реакция при инциденти.

Пазете една споделена времева линия. Записвайте времето, наблюдението, действието, извършителя и резултата. Разграничавайте факти от хипотези. Използвайте обща часова зона и отбелязвайте ненадеждните времеви отметки.

Разгледайте измислен инцидент

Всички часове по-долу са UTC. Организацията определя координатор на инцидента, когато неуспехът на експорта засегне няколко клиента.

Полезно първо съобщение посочва засегнатата функционалност, известния обхват, мерките и времето за следващо съобщение. Не обещава срок за поправка без доказателства. Избягвайте включване на клиентски записи в споделеното съобщение.

В 09:10 инцидентът се променя. Възстановяването на успешни експорти вече не е достатъчно. Екипът трябва да оцени възможното разкриване, да контролира достъпа, да запази доказателства и да включи съответните отговорници за решенията.

Ограничете проблема, без да губите контрол

Използвайте тествани оперативни процедури, когато са приложими. Проверявайте предварителните условия преди rollback, превключване при отказ или промени в данните за удостоверяване. Предишна версия на приложението може да не разбира текущата схема на базата данни. Превключване към друг регион може да пренесе същите повредени данни.

Позволете на AI помощник да организира доказателства с премахната чувствителна информация или да сравнява хипотези в одобрени граници. Реагиращите трябва да проверяват изводите му. Логовете и задачите са недоверен вход, а не правомощие да се изпълнява съдържанието им.

Аварийният достъп трябва да има разрешена цел, ограничена продължителност и одитен запис. Спешността не прави предложената от агент команда правилна.

Приключете възстановяването и последващата работа отделно

Проверете потребителския процес, целостта на данните, границите на достъп и актуалността на мониторинга, преди да обявите възстановяване на услугата. Запишете оставащите ограничения. Оставете проучването по сигурността отворено, ако въпросите му не са решени.

След това проучете условията, които са направили инцидента възможен. Възложете конкретна последваща работа с отговорник и критерии за проверка. Преглед без търсене на виновник цели точно обяснение и полезни промени. Не премахва отговорността за завършване на тези промени. Практика за преглед след инцидент.

Продължете с операции по сигурността и затваряне на цикъла на обратната връзка.