Stabbilixxi konfini siguri għal self-healing
LestAwtomatizza azzjonijiet magħrufa tal-irkupru b'awtorità, verifika u kundizzjonijiet espliċiti biex jieqfu. Issepara l-irkupru waqt l-eżekuzzjoni mill-bdil tas-software.
Ippubblikat minn TaigaKif niktbu
Iċċekkja kemm fhimtIl-controller reġa' beda worker darbtejn. Il-kju jkompli jikber u d-database ma tistax tintlaħaq. X'għandha tagħmel il-politika?Agħmel l-eżerċizzju
X'se titgħallem
- Iddistingwi self-healing minn korrezzjoni permanenti tas-software.
- Iddefinixxi politika limitata tal-irkupru u kontrolli indipendenti tas-suċċess.
- Agħraf meta l-awtomazzjoni trid tieqaf u teskala.
Irkupra minn kundizzjoni magħrufa
Self-healing jiskopri awtomatikament ħsara definita u jipprova azzjoni awtorizzata tal-irkupru. Eżempji jistgħu jkunu l-bidu mill-ġdid ta’ proċess li falla jew is-sostituzzjoni ta’ istanza li ma taħdimx sew. L-azzjoni trid tkun adattata għall-ħsara u l-mudell tal-istat tas-servizz.
Kubernetes jista’ jissostitwixxi istanzi tal-workload li fallew u jġib l-istat reali konformi ma’ dak iddikjarat. Dan ma jikkoreġix loġika difettuża tal-applikazzjoni jew kull ħsara fil-ħażna. L-irkupru tal-infrastruttura u l-korrettezza tas-software jeħtieġu kontrolli differenti. Self-healing f’Kubernetes.
Iddefinixxi l-għan qabel il-mekkaniżmu. L-irkupru ta’ esportazzjoni jfisser li xogħol eliġibbli jitlesta sew. Container li jaħdem huwa prekundizzjoni waħda biss.
Issepara tliet tipi ta’ bidla
| Bidla | Eżempju | Deċiżjoni meħtieġa |
|---|---|---|
| Irkupru waqt l-eżekuzzjoni | Issostitwixxi worker wieħed mingħajr stat li falla | Politika tal-irkupru approvata minn qabel tista’ tawtorizza dan |
| Korrezzjoni tas-software | Ikkoreġi t-tnixxija tal-memorja li twaqqaf il-worker | Reviżjoni, testijiet, kontrolli tar-rilaxx u verifika fil-produzzjoni |
| Bidla fil-politika | Żid ir-rata permessa ta’ bidu mill-ġdid jew l-ambitu tal-aċċess | Approvazzjoni espliċita mill-persuna responsabbli għall-politika |
Aġent jista’ jipproponi korrezzjoni wara l-irkupru. Dik il-proposta hija bidla ġdida fis-software. Ma għandhiex tiret awtorità bla limitu mill-controller tal-irkupru.
Il-controller ukoll ma għandux jeditja l-kriterji tiegħu stess tas-suċċess meta kontroll ifalli. Inkella, is-sistema tista’ tirrapporta titjib mingħajr ma ttejjeb is-servizz.
Ikteb il-politika tal-irkupru qabel tattivaha
Il-politika li ġejja hija fittizja. In-numri tagħha juru għażliet tad-disinn; mhumiex valuri predefiniti rakkomandati.
| Qasam tal-politika | Regola fittizja għall-worker tal-esportazzjoni |
|---|---|
| Kundizzjoni li tiskatta l-azzjoni | Is-sinjal heartbeat tal-worker ikun assenti għal 90 sekonda u jkun hemm xogħol fil-kju |
| Prekundizzjonijiet | Worker ieħor jaħdem sew; il-kontrolli tad-dipendenzi jgħaddu; ebda suspett ta’ kompromess jew ħsara fl-integrità |
| Azzjoni permessa | Issostitwixxi worker wieħed bl-artifact approvat bħalissa |
| Protezzjoni tal-istat | Il-jobs jużaw ħażna dejjiema u ċavetta vverifikata tal-idempotenza |
| Limitu | Mhux aktar minn żewġ sostituzzjonijiet fi 15-il minuta; qatt aktar minn waħda kull darba |
| Perjodu ta’ stennija | Stenna ħames minuti wara s-sostituzzjoni qabel tentattiv ieħor |
| Suċċess | Job sintetiku jitlesta sew u l-kju affettwat jibda jonqos |
| Waqfien u eskalazzjoni | Kwalunkwe prekundizzjoni tfalli, jintlaħaq il-limitu jew is-suċċess ma jistax jiġi vverifikat |
Uża identità bl-inqas privileġġi meħtieġa. Irreġistra l-verżjoni tal-politika, l-evidenza tal-kundizzjoni li skattatha, l-azzjoni, ir-riżorsa u r-riżultat. Ipprovdi mod indipendenti biex tiddiżattiva l-controller. Iddefinixxi l-persuna responsabbli li tirċievi eskalazzjoni.
Ittestja rotot tal-ħsara kif ukoll irkupru li jirnexxi
Tentattiv ripetut jista’ jirrepeti effett sekondarju. Worker jista’ jaħżen fajl u jieqaf qabel jikkonferma l-job. Ivverifika l-idempotenza qabel tippermetti eżekuzzjoni oħra. Ara l-eżempju ta’ ħsara cloud native.
Tentattivi ripetuti jistgħu wkoll jaggravaw dipendenza mgħobbija żżejjed. Uża tentattivi limitati, limiti tal-ħin u dewmien xieraq bejn it-tentattivi. Evita tentattivi ripetuti sinkronizzati fis-sistemi kollha. AWS jispjega għaliex backoff u jitter jgħinu jnaqqsu din l-amplifikazzjoni. Gwida għat-tentattivi ripetuti.
Ittestja l-politika fittizja kontra tliet każijiet. Worker wieħed imwaqqaf għandu jirkupra. Interruzzjoni tad-database għandha tipprevjeni sostituzzjonijiet ripetuti. Ħsara inċerta fl-integrità għandha twaqqaf l-awtomazzjoni u titlob deċiżjoni tar-rispons.
Iċċekkja wkoll telemetrija nieqsa. L-assenza ta’ heartbeat tista’ tfisser worker li falla jew rotta tal-ġbir li falliet. Il-controller jeħtieġ evidenza biżżejjed għall-azzjoni tiegħu, mhux kunfidenza fi spjegazzjoni tal-AI.
Kejjel jekk il-politika tgħinx
Irreġistra rkupri vverifikati, tentattivi li ma rnexxewx, eskalazzjonijiet, xogħol duplikat u ħin b’impatt fuq l-utenti. Qabbel dawn mal-metodu operattiv preċedenti taħt kundizzjonijiet simili.
Żomm id-difett sottostanti bħala xogħol tal-inġinerija. Il-bidu mill-ġdid ripetut ta’ proċess bi tnixxija tal-memorja jista’ jnaqqas l-impatt immedjat filwaqt li t-tnixxija tkompli. Kompli b’self-improvement biex torbot l-osservazzjoni ma’ korrezzjoni dejjiema.
Agħmel l-eżerċizzju
Iddisinja politika tal-irkupru għall-worker fittizju tal-esportazzjoni f'din il-lezzjoni. Speċifika x'jiskattaha, l-esklużjonijiet, l-azzjoni permessa, il-limitu tat-tentattivi, il-perjodu ta' stennija, il-kontroll tas-suċċess u l-persuna responsabbli għall-eskalazzjoni. Ittestjaha kontra interruzzjoni tad-database u ħsara mhux magħrufa fl-integrità tad-data.
Niżżel il-folja tax-xogħol (Markdown)Jekk tneħħi din l-għażla, tħassar il-progress kollu ssejvjat f'dan il-browser.
Il-progress jibqa' f'dan il-browser. Ebda kont, ebda traċċar.
Sorsi u qari ieħor
- Kubernetes: Self-Healing ↗
- AWS Builders’ Library: Timeouts, retries, and backoff with jitter ↗
- Google SRE: Automation at Google ↗