Perkors 05Lezzjoni 7 / 8

Stabbilixxi konfini siguri għal self-healing

Awtomatizza azzjonijiet magħrufa tal-irkupru b'awtorità, verifika u kundizzjonijiet espliċiti biex jieqfu. Issepara l-irkupru waqt l-eżekuzzjoni mill-bdil tas-software.

Avvanzat12 minRivedut

Ippubblikat minn Kif niktbu

Iċċekkja kemm fhimtIl-controller reġa' beda worker darbtejn. Il-kju jkompli jikber u d-database ma tistax tintlaħaq. X'għandha tagħmel il-politika?Agħmel l-eżerċizzju
Il-controller reġa' beda worker darbtejn. Il-kju jkompli jikber u d-database ma tistax tintlaħaq. X'għandha tagħmel il-politika?

X'se titgħallem

  • Iddistingwi self-healing minn korrezzjoni permanenti tas-software.
  • Iddefinixxi politika limitata tal-irkupru u kontrolli indipendenti tas-suċċess.
  • Agħraf meta l-awtomazzjoni trid tieqaf u teskala.

Irkupra minn kundizzjoni magħrufa

Self-healing jiskopri awtomatikament ħsara definita u jipprova azzjoni awtorizzata tal-irkupru. Eżempji jistgħu jkunu l-bidu mill-ġdid ta’ proċess li falla jew is-sostituzzjoni ta’ istanza li ma taħdimx sew. L-azzjoni trid tkun adattata għall-ħsara u l-mudell tal-istat tas-servizz.

Kubernetes jista’ jissostitwixxi istanzi tal-workload li fallew u jġib l-istat reali konformi ma’ dak iddikjarat. Dan ma jikkoreġix loġika difettuża tal-applikazzjoni jew kull ħsara fil-ħażna. L-irkupru tal-infrastruttura u l-korrettezza tas-software jeħtieġu kontrolli differenti. Self-healing f’Kubernetes.

Iddefinixxi l-għan qabel il-mekkaniżmu. L-irkupru ta’ esportazzjoni jfisser li xogħol eliġibbli jitlesta sew. Container li jaħdem huwa prekundizzjoni waħda biss.

Issepara tliet tipi ta’ bidla

BidlaEżempjuDeċiżjoni meħtieġa
Irkupru waqt l-eżekuzzjoniIssostitwixxi worker wieħed mingħajr stat li fallaPolitika tal-irkupru approvata minn qabel tista’ tawtorizza dan
Korrezzjoni tas-softwareIkkoreġi t-tnixxija tal-memorja li twaqqaf il-workerReviżjoni, testijiet, kontrolli tar-rilaxx u verifika fil-produzzjoni
Bidla fil-politikaŻid ir-rata permessa ta’ bidu mill-ġdid jew l-ambitu tal-aċċessApprovazzjoni espliċita mill-persuna responsabbli għall-politika

Aġent jista’ jipproponi korrezzjoni wara l-irkupru. Dik il-proposta hija bidla ġdida fis-software. Ma għandhiex tiret awtorità bla limitu mill-controller tal-irkupru.

Il-controller ukoll ma għandux jeditja l-kriterji tiegħu stess tas-suċċess meta kontroll ifalli. Inkella, is-sistema tista’ tirrapporta titjib mingħajr ma ttejjeb is-servizz.

Ikteb il-politika tal-irkupru qabel tattivaha

Il-politika li ġejja hija fittizja. In-numri tagħha juru għażliet tad-disinn; mhumiex valuri predefiniti rakkomandati.

Qasam tal-politikaRegola fittizja għall-worker tal-esportazzjoni
Kundizzjoni li tiskatta l-azzjoniIs-sinjal heartbeat tal-worker ikun assenti għal 90 sekonda u jkun hemm xogħol fil-kju
PrekundizzjonijietWorker ieħor jaħdem sew; il-kontrolli tad-dipendenzi jgħaddu; ebda suspett ta’ kompromess jew ħsara fl-integrità
Azzjoni permessaIssostitwixxi worker wieħed bl-artifact approvat bħalissa
Protezzjoni tal-istatIl-jobs jużaw ħażna dejjiema u ċavetta vverifikata tal-idempotenza
LimituMhux aktar minn żewġ sostituzzjonijiet fi 15-il minuta; qatt aktar minn waħda kull darba
Perjodu ta’ stennijaStenna ħames minuti wara s-sostituzzjoni qabel tentattiv ieħor
SuċċessJob sintetiku jitlesta sew u l-kju affettwat jibda jonqos
Waqfien u eskalazzjoniKwalunkwe prekundizzjoni tfalli, jintlaħaq il-limitu jew is-suċċess ma jistax jiġi vverifikat

Uża identità bl-inqas privileġġi meħtieġa. Irreġistra l-verżjoni tal-politika, l-evidenza tal-kundizzjoni li skattatha, l-azzjoni, ir-riżorsa u r-riżultat. Ipprovdi mod indipendenti biex tiddiżattiva l-controller. Iddefinixxi l-persuna responsabbli li tirċievi eskalazzjoni.

Ittestja rotot tal-ħsara kif ukoll irkupru li jirnexxi

Tentattiv ripetut jista’ jirrepeti effett sekondarju. Worker jista’ jaħżen fajl u jieqaf qabel jikkonferma l-job. Ivverifika l-idempotenza qabel tippermetti eżekuzzjoni oħra. Ara l-eżempju ta’ ħsara cloud native.

Tentattivi ripetuti jistgħu wkoll jaggravaw dipendenza mgħobbija żżejjed. Uża tentattivi limitati, limiti tal-ħin u dewmien xieraq bejn it-tentattivi. Evita tentattivi ripetuti sinkronizzati fis-sistemi kollha. AWS jispjega għaliex backoff u jitter jgħinu jnaqqsu din l-amplifikazzjoni. Gwida għat-tentattivi ripetuti.

Ittestja l-politika fittizja kontra tliet każijiet. Worker wieħed imwaqqaf għandu jirkupra. Interruzzjoni tad-database għandha tipprevjeni sostituzzjonijiet ripetuti. Ħsara inċerta fl-integrità għandha twaqqaf l-awtomazzjoni u titlob deċiżjoni tar-rispons.

Iċċekkja wkoll telemetrija nieqsa. L-assenza ta’ heartbeat tista’ tfisser worker li falla jew rotta tal-ġbir li falliet. Il-controller jeħtieġ evidenza biżżejjed għall-azzjoni tiegħu, mhux kunfidenza fi spjegazzjoni tal-AI.

Kejjel jekk il-politika tgħinx

Irreġistra rkupri vverifikati, tentattivi li ma rnexxewx, eskalazzjonijiet, xogħol duplikat u ħin b’impatt fuq l-utenti. Qabbel dawn mal-metodu operattiv preċedenti taħt kundizzjonijiet simili.

Żomm id-difett sottostanti bħala xogħol tal-inġinerija. Il-bidu mill-ġdid ripetut ta’ proċess bi tnixxija tal-memorja jista’ jnaqqas l-impatt immedjat filwaqt li t-tnixxija tkompli. Kompli b’self-improvement biex torbot l-osservazzjoni ma’ korrezzjoni dejjiema.

Agħmel l-eżerċizzju

Iddisinja politika tal-irkupru għall-worker fittizju tal-esportazzjoni f'din il-lezzjoni. Speċifika x'jiskattaha, l-esklużjonijiet, l-azzjoni permessa, il-limitu tat-tentattivi, il-perjodu ta' stennija, il-kontroll tas-suċċess u l-persuna responsabbli għall-eskalazzjoni. Ittestjaha kontra interruzzjoni tad-database u ħsara mhux magħrufa fl-integrità tad-data.

Niżżel il-folja tax-xogħol (Markdown)
Iċċekkja kemm fhimt ↑

Kompli titgħallem

Sorsi u qari ieħor

Qari relatat minn Taiga

Il-lezzjoni ta' qabel: Orbot it-twassil mas-SOC u s-SIRT