Mjerite sistem isporuke

Počnite od odluke koju trebate donijeti

Tim želi znati poboljšava li AI isporuku. Brojanje generisanih redova odgovara na drugo pitanje. Odredite koristan ishod i uslove kvaliteta prije odabira metrike.

Za izmišljenu uslugu izvoza željeni ishod je pouzdana isporuka prihvaćenih promjena uz manje ukupnog rada. Bilježite pripremu, implementaciju, pregled, ispravke i čekanje. Uključite promjene koje nisu uspjele ili su napuštene.

Koristite jednu uslugu s jasnom granicom. Objedinjavanje eksperimentalne web stranice i kritične usluge plaćanja može dati broj koji ne objašnjava nijedno. Opišite kontekst prije poređenja perioda ili timova.

Koristite aktuelne definicije

DORA-in aktuelni model isporuke sadrži pet metrika. Njihov opseg je uspješnost isporuke, a ne vrijednost svake funkcije ili doprinos pojedinca. DORA definicije metrika.

Kontrolna ploča može koristiti drugačiju definiciju. Pročitajte je prije tumačenja rezultata. Aktuelna Taiga dokumentacija o raspoređivanju opisuje četiri prikazane metrike izvedene iz zapisa raspoređivanja pružaoca usluge. Njena mjera oporavka koristi naredno uspješno raspoređivanje. To nije potpun zapis svakog produkcijskog incidenta. Taiga definicije.

Pregledajte izmišljeni niz promjena

Pretpostavite da usluga ima dvanaest raspoređivanja u mjesecu. Osam isporučuje planirane promjene. Četiri popravljaju probleme ranijih izdanja. Broj je dvanaest, ali važan je sastav.

U narednom mjesecu tim ima deset raspoređivanja: devet planiranih promjena i jednu popravku. Manje raspoređivanja može postojati uz više korisnog rada. Ovi brojevi ilustruju tumačenje; nisu mjerilo uspješnosti.

Pregledajte i raspodjelu. Jedno dugo čekanje na pregled može nestati u prosjeku. Mjera oporavka iz jednog neuspjeha slab je dokaz buduće pouzdanosti. Navedite broj zapažanja i važne izuzetke.

Povežite tok s posljedicama

Koristite signale usluge da provjerite utječu li promjene isporuke na korisnike. Brži pipeline nije dovoljan ako izvozi češće ne uspijevaju. Koristite odgovarajući SLO ili drugu jasno određenu mjeru ishoda. SLO smjernice.

Vrijeme pregleda i ponovni rad pomažu objasniti rezultat. Ako AI skrati implementaciju, ali proizvede velike promjene koda, pregled može postati ograničenje. Ako nabavka okruženja traje danima, brže kodiranje može malo utjecati na proteklo vrijeme isporuke.

Odaberite jedno poboljšanje koje odgovara uočenom ograničenju. Naprimjer, omogućite podržano testno okruženje ili smanjite veličinu promjene. Odredite prateću metriku kvaliteta kako bi tim mogao otkriti prividno ubrzanje nastalo slabljenjem provjera.

Neka mjerenje ostane korisno

Izbjegavajte rangiranje pojedinaca prema broju PR-ova ili generisanom kodu. Ove mjere mogu nagrađivati vještačko dijeljenje rada, izbjegavanje teškog održavanja ili prebacivanje pregleda na kolege.

Pregledajte rezultat s ljudima odgovornim za cijelu uslugu. Zabilježite šta se promijenilo u alatu, vrstama rada, timu i okruženju. Tretirajte poređenje prije i poslije kao dokaz s ograničenjima, a ne automatski dokaz uzročnosti.

Svrha je bolja sljedeća odluka. Malo, pouzdano mjerenje koje vodi provjerenom poboljšanju korisnije je od velike kontrolne ploče bez dogovorenog značenja.

Vježbajte s deset promjena

Ovaj odvojeni izmišljeni skup podataka bilježi deset planiranih promjena. Sva vremena su UTC na prikazani datum. Prazno polje ispravke znači da ispravka nije zabilježena u ovom skupu podataka.

Uporedite vrijeme od spremnosti koda do početka pregleda, zatim od prihvatanja do izdavanja. Utvrdite najduže vidljivo čekanje. Istražite uzrok prije tvrdnje da se moglo izbjeći. Ove vremenske oznake ne mjere aktivni rad niti utvrđuju početak incidenta. Samo izdanje s ispravkom ne može potvrditi vrijeme oporavka od neuspjelog raspoređivanja.

Preuzmite izmišljeni skup podataka (CSV)