Halda intsidenti tuvastamisest taastamiseni

Kuuluta intsident välja mõju põhjal

Intsident on sündmus, mis katkestab, halvendab või ohustab teenust piisavalt, et vajada koordineeritud reageerimist. Sinu organisatsioon määrab raskusastmed ja eskalatsioonireeglid. Rakenda neid kasutajamõju, mõjutatud andmete, kestuse ja ulatuse järgi.

Ära oota abi küsimiseks täielikku algpõhjuse selgitust. Koordineerimise alustamiseks piisab täheldatud mõju selgest kirjeldusest. Erista turvakahtlust kinnitatud järeldusest.

Valmista reageerimistee ette enne väljalaset. Hoia kontaktandmed, juurdepääsuprotseduurid, käitusjuhendid ja suhtluskanalid kättesaadavana ka põhiteenuse katkestuse ajal. Harjuta seda teed väljamõeldud intsidendiga.

Määra vastutused enne vastuoluliste muudatuste tegemist

Intsidendi koordineerija seab prioriteedid ja haldab otsuseid. Tehnilised reageerijad uurivad ja leevendavad. Suhtlus hoiab mõjutatud inimesed kursis. Google SRE kirjeldab neid vastutusi eri rollidena. Väikesed meeskonnad võivad rolle ühendada, kuid peavad kogu töö katma. Intsidendile reageerimine.

Hoia üht ühist ajajoont. Pane kirja aeg, tähelepanek, tegevus, tegutseja ja tulemus. Erista fakte hüpoteesidest. Kasuta ühist ajavööndit ja märgi ebausaldusväärsed ajatemplid.

Vaata läbi väljamõeldud intsident

Kõik järgnevad ajad on UTC järgi. Organisatsioon nimetab intsidendi koordineerija, kui eksporditõrge mõjutab mitut klienti.

Kasulik esimene teade kirjeldab mõjutatud funktsiooni, teadaolevat ulatust, leevendust ja järgmise teate aega. See ei luba ilma tõenditeta parandusaega. Ära lisa ühisesse teatesse kliendikirjeid.

Kell 09:10 intsident muutub. Edukate eksportide taastamisest enam ei piisa. Meeskond peab hindama võimalikku avaldamist, kontrollima juurdepääsu, säilitama tõendid ja kaasama asjakohaste otsuste vastutajad.

Leevenda kontrolli kaotamata

Kasuta katsetatud käitusjuhendeid seal, kus need sobivad. Kontrolli eeltingimusi enne rollback’i, ümberlülitumist või autentimisandmete muutmist. Eelmine rakenduse versioon ei pruugi praegust andmebaasiskeemi mõista. Regioonidevaheline ümberlülitumine võib liigutada samu rikutud andmeid.

Lase AI-assistendil heaks kiidetud piirides korraldada tundlikust teabest puhastatud tõendeid või võrrelda hüpoteese. Reageerijad peavad tema järeldusi kontrollima. Logid ja tööülesanded on ebausaldusväärne sisend, mitte volitus nende sisu käivitamiseks.

Hädaolukorra juurdepääsul peab olema lubatud eesmärk, piiratud kestus ja auditikirje. Kiireloomulisus ei muuda agendi pakutud käsku õigeks.

Lõpeta taastamine ja järeltegevused eraldi

Enne teenuse taastumise väljakuulutamist kontrolli kasutaja töövoogu, andmete terviklust, juurdepääsupiire ja monitooringu värskust. Pane kirja allesjäänud piirangud. Hoia turvauurimine avatuna, kui selle küsimused on lahendamata.

Seejärel uuri tingimusi, mis tegid intsidendi võimalikuks. Määra konkreetsed järeltegevused koos vastutaja ja kontrollikriteeriumidega. Süüdistusteta ülevaatus otsib täpset selgitust ja kasulikke muudatusi. See ei kõrvalda vastutust nende muudatuste lõpetamise eest. Intsidendijärgse ülevaatuse praktika.

Jätka turbe käituse ja tagasisideahela sulgemisega.