Кіруйце інцыдэнтам ад выяўлення да аднаўлення

Абвяшчайце інцыдэнт паводле ўплыву

Інцыдэнт — падзея, якая перапыняе працу, пагаршае яе або пагражае сэрвісу настолькі, што патрабуе скаардынаванага рэагавання. Ваша арганізацыя вызначае ўзроўні сур’ёзнасці і правілы эскалацыі. Ужывайце іх з улікам уплыву на карыстальнікаў, закранутых даных, працягласці і абсягу.

Не чакайце поўнага тлумачэння першапрычыны перад запытам дапамогі. Выразнага апісання назіранага ўплыву дастаткова для пачатку каардынацыі. Аддзяляйце падазрэнне на інцыдэнт бяспекі ад пацверджанай высновы.

Падрыхтуйце шлях рэагавання да выпуску. Захоўвайце кантакты, працэдуры доступу, runbook і каналы камунікацыі даступнымі, калі асноўны сэрвіс недаступны. Адпрацуйце гэты шлях на выдуманым інцыдэнце.

Прызначце абавязкі перад унясеннем канкурэнтных змен

Каардынацыя інцыдэнту вызначае прыярытэты і кіруе рашэннямі. Тэхнічныя ўдзельнікі даследуюць і змякчаюць наступствы. Камунікацыя інфармуе закранутых людзей. Google SRE апісвае гэтыя абавязкі як асобныя ролі. Невялікія каманды могуць сумяшчаць ролі, але павінны ахапіць усю працу. Рэагаванне на інцыдэнты.

Захоўвайце адну агульную храналогію. Запісвайце час, назіранне, дзеянне, выканаўцу і вынік. Адрознівайце факты ад гіпотэз. Выкарыстоўвайце агульны часавы пояс і адзначайце ненадзейныя часавыя пазнакі.

Разбярыце выдуманы інцыдэнт

Увесь час ніжэй указаны ў UTC. Арганізацыя прызначае каардынатара інцыдэнту, калі збой экспарту закранае некалькіх кліентаў.

Карыснае першае паведамленне ўказвае закранутую функцыю, вядомы абсяг, змякчэнне наступстваў і час наступнага абнаўлення. Яно не абяцае часу выпраўлення без доказаў. Не ўключайце запісы кліентаў у агульнае паведамленне.

У 09:10 інцыдэнт змяняецца. Аднаўлення паспяховых экспартаў ужо недастаткова. Камандзе трэба ацаніць магчымае раскрыццё, кантраляваць доступ, захаваць доказы і ўцягнуць адпаведных адказных за рашэнні.

Змякчайце наступствы без страты кантролю

Выкарыстоўвайце правераныя runbook там, дзе яны прымянімыя. Правярайце перадумовы перад адкатам, пераключэннем пры збоі або зменамі ўліковых даных. Папярэдняя версія праграмы можа не разумець бягучую схему базы даных. Рэгіянальнае пераключэнне можа перанесці тыя самыя пашкоджаныя даныя.

Дазвольце AI-памочніку ўпарадкоўваць доказы з выдаленымі канфідэнцыяльнымі данымі або параўноўваць гіпотэзы ва ўхваленых межах. Удзельнікі рэагавання павінны правяраць яго высновы. Журналы і заяўкі — недавераныя ўваходныя даныя, а не паўнамоцтвы на выкананне іх зместу.

Аварыйны доступ павінен мець дазволеную мэту, абмежаваную працягласць і аўдытны запіс. Тэрміновасць не робіць прапанаваную агентам каманду правільнай.

Завяршайце аднаўленне і наступную працу асобна

Перад абвяшчэннем аднаўлення сэрвісу праверце працэс карыстальніка, цэласнасць даных, межы доступу і актуальнасць маніторынгу. Запішыце астатнія абмежаванні. Захоўвайце расследаванне бяспекі адкрытым, калі яго пытанні не вырашаны.

Пасля гэтага вывучыце ўмовы, якія зрабілі інцыдэнт магчымым. Прызначце канкрэтную наступную працу з адказным і крытэрыямі праверкі. Разбор без пошуку вінаватых імкнецца да дакладнага тлумачэння і карысных змен. Ён не прыбірае адказнасці за завяршэнне гэтых змен. Практыка разбору інцыдэнтаў.

Працягвайце з урокамі пра эксплуатацыю бяспекі і замыканне зваротнай сувязі.