Sæt sikre grænser for self-healing

Gendan en kendt tilstand

Self-healing opdager automatisk en defineret fejl og forsøger en autoriseret gendannelseshandling. Eksempler kan være at genstarte en fejlet proces eller erstatte en usund instans. Handlingen skal passe til fejlen og tjenestens tilstandsmodel.

Kubernetes kan erstatte fejlede workloadinstanser og bringe systemet i overensstemmelse med den deklarerede tilstand. Det retter ikke fejlbehæftet applikationslogik eller alle lagringsfejl. Gendannelse af infrastruktur og korrekt software kræver forskellige kontroller. Kubernetes self-healing.

Definér målet før mekanismen. En gendannet eksport betyder, at relevante opgaver afsluttes korrekt. En kørende container er blot én forudsætning.

Skeln mellem tre slags ændringer

En agent kan foreslå en rettelse efter gendannelse. Forslaget er en ny softwareændring. Det må ikke arve ubegrænset bemyndigelse fra gendannelsescontrolleren.

Controlleren må heller ikke redigere sine egne succeskriterier, når en kontrol fejler. Ellers kan systemet rapportere forbedring uden at forbedre tjenesten.

Skriv gendannelsespolitikken, før den aktiveres

Følgende politik er fiktiv. Tallene illustrerer designvalg; de er ikke anbefalede standardværdier.

Brug en identitet med færrest mulige rettigheder. Log politikversion, udløserens dokumentation, handling, ressource og resultat. Sørg for en uafhængig måde at deaktivere controlleren på. Definér den menneskelige ansvarlige, der modtager eskaleringen.

Test fejlforløb såvel som vellykket gendannelse

Et nyt forsøg kan gentage en sideeffekt. En worker kan gemme en fil og stoppe, før den kvitterer for jobbet. Verificér idempotens, før du tillader endnu en udførelse. Se cloud native-fejleksemplet.

Nye forsøg kan også forstærke belastningen på en overbelastet afhængighed. Brug begrænsede forsøg, timeouts og passende backoff. Undgå synkroniserede forsøg på tværs af alle instanser. AWS forklarer, hvorfor backoff og jitter kan begrænse denne forstærkning. Vejledning om nye forsøg.

Test den fiktive politik mod tre tilfælde. En enkelt stoppet worker bør blive gendannet. Et databaseudfald bør forhindre gentagen udskiftning. En usikker integritetsfejl bør stoppe automatiseringen og anmode om en beredskabsbeslutning.

Kontrollér også manglende telemetri. Et manglende heartbeat kan betyde en fejlet worker eller en fejlet indsamlingsvej. Controlleren skal have tilstrækkelig dokumentation for sin handling, ikke blot tillid til en AI-forklaring.

Mål, om politikken hjælper

Registrér verificerede gendannelser, mislykkede forsøg, eskaleringer, dobbeltarbejde og tid med brugerpåvirkning. Sammenlign med den tidligere driftsmetode under tilsvarende forhold.

Bevar den underliggende fejl som en udviklingsopgave. Gentagen genstart af en proces med hukommelseslæk kan begrænse den umiddelbare påvirkning, mens lækket fortsætter. Fortsæt med self-improvement for at forbinde observationen med en varig rettelse.