Merite sistem dobave

Začnite z odločitvijo, ki jo morate sprejeti

Ekipa želi vedeti, ali AI izboljša dobavo. Štetje ustvarjenih vrstic odgovarja na drugo vprašanje. Pred izbiro metrike določite koristen rezultat in pogoje kakovosti.

Pri izmišljeni storitvi izvoza je želeni rezultat zanesljiva dobava sprejetih sprememb z manj skupnega vloženega časa. Beležite pripravo, izvedbo, pregled, popravke in čakanje. Vključite spremembe, ki so bile neuspešne ali opuščene.

Uporabite eno storitev z jasno mejo. Združevanje eksperimentalnega spletišča in ključne plačilne storitve lahko ustvari številko, ki ne pojasni nobene od njiju. Pred primerjavo obdobij ali ekip opišite kontekst.

Uporabite aktualne definicije

Trenutni model dobave DORA vsebuje pet metrik. Njihov obseg je uspešnost dobave, ne vrednost vsake funkcije ali prispevek posameznika. Definicije metrik DORA.

Nadzorna plošča lahko uporablja drugačno definicijo. Preberite jo pred razlago rezultata. Trenutna dokumentacija namestitev Taiga opisuje štiri poročane metrike, izpeljane iz ponudnikovih zapisov namestitev. Njena mera obnove uporablja naslednjo uspešno namestitev. To ni popoln zapis vseh produkcijskih incidentov. Definicije Taiga.

Preglejte izmišljeno zaporedje sprememb

Recimo, da storitev v mesecu izvede dvanajst namestitev. Osem jih dostavi načrtovane spremembe. Štiri popravijo težave prejšnjih izdaj. Skupno število je dvanajst, pomembna pa je sestava.

Naslednji mesec ekipa izvede deset namestitev: devet načrtovanih sprememb in en popravek. Manj namestitev lahko pomeni več koristnega dela. Te številke ponazarjajo razlago; niso merilo uspešnosti.

Preglejte tudi porazdelitev. Eno dolgo čakanje na pregled lahko izgine v povprečju. Meritev obnove po eni odpovedi je šibko dokazilo za prihodnjo zanesljivost. Poročajte o številu opažanj in pomembnih izjemah.

Tok povežite s posledicami

S signali storitve preverite, ali spremembe dobave vplivajo na uporabnike. Hitrejši cevovod ne zadostuje, če izvozi pogosteje odpovejo. Uporabite ustrezen SLO ali drugo jasno določeno merilo rezultata. Smernice za SLO.

Čas pregleda in popravki pomagajo pojasniti rezultat. Če AI skrajša čas izvedbe, vendar ustvari velike diffe, lahko pregled postane omejitev. Če pridobitev okolij traja več dni, lahko hitrejše programiranje le malo vpliva na celotni čas dobave.

Izberite eno izboljšavo, ki obravnava opaženo omejitev. Na primer zagotovite podprto testno okolje ali zmanjšajte velikost spremembe. Določite dopolnilno metriko kakovosti, da lahko ekipa zazna navidezno povečanje hitrosti zaradi šibkejših preverjanj.

Merjenje naj ostane uporabno

Izognite se razvrščanju posameznikov po številu PR-jev ali količini ustvarjene kode. Ta merila lahko nagrajujejo umetno deljenje dela, izogibanje zahtevnemu vzdrževanju ali prenos dela pri pregledu na sodelavce.

Rezultat preglejte z ljudmi, odgovornimi za celotno storitev. Zabeležite spremembe orodja, sestave dela, ekipe in okolja. Primerjavo prej in potem obravnavajte kot dokazilo z omejitvami, ne kot samodejen dokaz vzročnosti.

Namen je boljša naslednja odločitev. Majhna, zaupanja vredna meritev, ki vodi do preverjene izboljšave, je uporabnejša od velike nadzorne plošče brez dogovorjenega pomena.

Vadite z desetimi spremembami

Ta ločeni izmišljeni nabor podatkov beleži deset načrtovanih sprememb. Vsi časi so UTC na prikazani datum. Prazno polje popravka pomeni, da v tem naboru ni zabeleženega popravka.

Primerjajte čas od pripravljene kode do začetka pregleda in nato od sprejetja do izdaje. Poiščite najdaljše vidno čakanje. Preden ga označite kot nepotrebnega, raziščite vzrok. Ti časovni žigi ne merijo aktivnega vloženega časa in ne določajo začetka incidenta. Sama izdaja popravka ne more dokazati časa obnove po neuspeli namestitvi.

Prenesite izmišljeni nabor podatkov (CSV)