Kezeljen incidenst az észleléstől a helyreállításig

A hatás alapján hirdesse ki az incidenst

Az incidens olyan esemény, amely annyira megzavarja, rontja vagy fenyegeti a szolgáltatást, hogy összehangolt reagálást igényel. A súlyossági szinteket és eszkalációs szabályokat a szervezet határozza meg. Alkalmazásukkor a felhasználói hatást, az érintett adatokat, az időtartamot és a kiterjedést vegye figyelembe.

Segítségkérés előtt ne várja meg a gyökérok teljes magyarázatát. A koordináció elindításához elegendő a megfigyelt hatás világos leírása. A biztonsági gyanút külön kezelje a megerősített következtetéstől.

Kiadás előtt készítse elő a reagálási útvonalat. Az elérhetőségek, hozzáférési eljárások, runbookok és kommunikációs csatornák akkor is legyenek elérhetők, ha a fő szolgáltatás nem működik. Fiktív incidenssel gyakorolja ezt az útvonalat.

Az egymással ütköző módosítások előtt ossza ki a felelősségeket

Az incidenskoordináció prioritásokat állít és kezeli a döntéseket. A technikai beavatkozók vizsgálnak és enyhítik a hatást. A kommunikáció tájékoztatja az érintetteket. A Google SRE ezeket külön szerepként írja le. Kis csapatok összevonhatják a szerepeket, de a munkát akkor is le kell fedniük. Incidenskezelés.

Tartson fenn egyetlen közös idővonalat. Rögzítse az időt, a megfigyelést, a műveletet, a végrehajtót és az eredményt. Különböztesse meg a tényeket a hipotézisektől. Használjon közös időzónát, és jelölje a nem megbízható időbélyegeket.

Kövessen végig egy fiktív incidenst

Az alábbi időpontok UTC szerint értendők. A szervezet incidenskoordinátort nevez ki, amikor az exporthiba több ügyfelet érint.

A használható első helyzetjelentés megadja az érintett funkciót, az ismert kiterjedést, a kárenyhítést és a következő frissítés időpontját. Nem ígér javítási időt bizonyíték nélkül. A közös tájékoztatásba ne vegyen fel ügyfélrekordokat.

09:10-kor az incidens megváltozik. A sikeres exportok helyreállítása már nem elegendő. A csapatnak értékelnie kell a lehetséges adatfelfedést, szabályoznia kell a hozzáférést, meg kell őriznie a bizonyítékot, és be kell vonnia az illetékes döntéshozókat.

Enyhítse a hatást az ellenőrzés megtartásával

Ahol alkalmazhatók, használjon tesztelt runbookokat. Visszaállítás, failover vagy hitelesítőadat-módosítás előtt ellenőrizze az előfeltételeket. Egy korábbi alkalmazásverzió nem feltétlenül érti a jelenlegi adatbázissémát. A régiók közötti failover ugyanazokat a sérült adatokat viheti tovább.

Az AI-asszisztens a jóváhagyott határokon belül rendszerezhet kitakart bizonyítékokat vagy összehasonlíthat hipotéziseket. A beavatkozóknak ellenőrizniük kell a következtetéseit. A naplók és hibajegyek nem megbízható bemenetek, nem adnak engedélyt a tartalmuk végrehajtására.

A vészhelyzeti hozzáférésnek legyen engedélyezett célja, korlátozott időtartama és auditnyoma. A sürgősség nem teszi helyessé az agent által javasolt parancsot.

Külön zárja le a helyreállítást és az utókövetést

A szolgáltatás helyreállításának kimondása előtt ellenőrizze a felhasználói munkafolyamatot, az adatintegritást, a hozzáférési határokat és a monitoring frissességét. Rögzítse a megmaradó korlátozásokat. Ha a biztonsági vizsgálat kérdései nyitottak, a vizsgálat is maradjon nyitva.

Ezután vizsgálja meg az incidenst lehetővé tevő körülményeket. Rendeljen konkrét utókövetési munkát felelőshöz és ellenőrzési kritériumokhoz. A hibáztatás nélküli felülvizsgálat pontos magyarázatot és hasznos változtatásokat keres. Nem szünteti meg az ezek befejezéséért viselt felelősséget. Postmortem-gyakorlat.

Folytassa a biztonsági üzemeltetéssel és a visszacsatolási kör lezárásával.