Stanovte bezpečné hranice self-healing

Obnovujte službu pri známom zlyhaní

Self-healing automaticky odhalí definované zlyhanie a pokúsi sa vykonať povolenú obnovovaciu akciu. Príkladom môže byť reštart zlyhaného procesu alebo nahradenie nefunkčnej inštancie. Akcia musí zodpovedať zlyhaniu a stavovému modelu služby.

Kubernetes môže nahradiť zlyhané inštancie úloh a zosúladiť stav s deklaráciou. Neopravuje tým chybnú logiku aplikácie ani nerieši každé zlyhanie úložiska. Obnova infraštruktúry a správnosť softvéru potrebujú odlišné kontroly. Kubernetes self-healing.

Pred mechanizmom definujte cieľ. Obnovenie exportu znamená, že sa oprávnená práca dokončí správne. Bežiaci kontajner je iba jedným predpokladom.

Oddeľte tri druhy zmien

Agent môže po obnove navrhnúť opravu. Tento návrh je novou softvérovou zmenou. Nesmie zdediť neobmedzené oprávnenia od kontroléra obnovy.

Kontrolér tiež nesmie pri neúspešnej kontrole upravovať vlastné kritériá úspechu. Inak môže systém hlásiť zlepšenie bez zlepšenia služby.

Napíšte politiku obnovy pred jej zapnutím

Nasledujúca politika je fiktívna. Jej čísla ilustrujú návrhové rozhodnutia; nie sú odporúčanými predvolenými hodnotami.

Použite identitu s najmenšími potrebnými oprávneniami. Logujte verziu politiky, dôkazy spúšťacej podmienky, akciu, zdroj a výsledok. Poskytnite nezávislý spôsob vypnutia kontroléra. Určte človeka, ktorý prijíma eskaláciu.

Testujte zlyhania aj úspešnú obnovu

Opakovanie môže zopakovať vedľajší účinok. Worker môže uložiť súbor a zastaviť sa pred potvrdením úlohy. Pred povolením ďalšieho vykonania overte idempotentnosť. Pozrite si príklad zlyhania v cloud native.

Opakovania môžu tiež zhoršiť preťaženie závislosti. Používajte obmedzený počet pokusov, časové limity a primeraný backoff. Vyhnite sa synchronizovaným opakovaniam všetkých inštancií. AWS vysvetľuje, prečo backoff a jitter pomáhajú obmedziť toto zosilnenie záťaže. Odporúčania na opakovanie.

Otestujte fiktívnu politiku v troch prípadoch. Jeden zastavený worker sa má obnoviť. Výpadok databázy má zabrániť opakovanému nahrádzaniu. Nejasné narušenie integrity má zastaviť automatizáciu a vyžiadať rozhodnutie o reagovaní.

Overte aj chýbajúcu telemetriu. Neprítomnosť heartbeat môže znamenať zlyhaný worker alebo zlyhanú cestu zberu. Kontrolér potrebuje dostatočné dôkazy pre svoju akciu, nie dôveru vo vysvetlenie AI.

Merajte, či politika pomáha

Zaznamenávajte overené obnovy, neúspešné pokusy, eskalácie, duplicitnú prácu a čas dosahu na používateľov. Porovnávajte ich s predchádzajúcim prevádzkovým postupom za podobných podmienok.

Základnú chybu ponechajte ako inžiniersku prácu. Opakovaný reštart procesu s únikom pamäte môže znížiť bezprostredný dosah, zatiaľ čo únik pokračuje. Pokračujte lekciou self-improvement, ktorá prepája pozorovanie s trvalou opravou.