Mjerite sustav isporuke

Počnite od odluke koju trebate donijeti

Tim želi znati poboljšava li AI isporuku. Brojanje generiranih redaka odgovara na drugo pitanje. Odredite koristan ishod i uvjete kvalitete prije odabira metrike.

Za izmišljenu uslugu izvoza željeni je ishod pouzdana isporuka prihvaćenih promjena uz manji ukupni rad. Zabilježite pripremu, implementaciju, pregled, ispravljanje i čekanje. Uključite promjene koje nisu uspjele ili su napuštene.

Upotrijebite jednu uslugu s jasnom granicom. Kombiniranje eksperimentalne web-stranice i kritične platne usluge može proizvesti broj koji ne objašnjava nijednu. Opišite kontekst prije usporedbe razdoblja ili timova.

Upotrijebite aktualne definicije

DORA-in trenutačni model isporuke sadrži pet metrika. Njihov je opseg uspješnost isporuke, a ne vrijednost svake funkcije ili doprinos pojedinca. DORA-ine definicije metrika.

Nadzorna ploča može upotrebljavati drugu definiciju. Pročitajte je prije tumačenja rezultata. Taigina trenutačna dokumentacija postavljanja opisuje četiri prikazane metrike izvedene iz zapisa pružatelja o postavljanju. Njezina mjera oporavka upotrebljava sljedeće uspješno postavljanje. To nije potpun zapis svakog produkcijskog incidenta. Taigine definicije.

Pregledajte izmišljeni slijed promjena

Pretpostavimo da usluga ima dvanaest postavljanja u mjesecu. Osam isporučuje planirane promjene. Četiri popravljaju probleme ranijih izdanja. Broj je dvanaest, ali sastav je važan.

Sljedeći mjesec tim ima deset postavljanja: devet planiranih promjena i jedan popravak. Manje postavljanja može pratiti više korisnog rada. Ti brojevi ilustriraju tumačenje; nisu referentna vrijednost uspješnosti.

Pregledajte i raspodjelu. Jedno dugo čekanje na pregled može nestati u prosjeku. Mjera oporavka iz jednog kvara slab je dokaz buduće pouzdanosti. Navedite broj opažanja i bitne iznimke.

Povežite tijek s posljedicama

Upotrijebite signale usluge za provjeru utječu li promjene isporuke na korisnike. Brži pipeline nije dovoljan ako izvozi češće ne uspijevaju. Upotrijebite primjeren SLO ili drugu jasno definiranu mjeru ishoda. Smjernice za SLO.

Rad pregleda i ponovni rad pomažu objasniti rezultat. Ako AI skrati implementaciju, ali proizvodi velike razlike u kodu, pregled može postati ograničenje. Ako dobivanje okruženja traje danima, brže programiranje može malo utjecati na ukupno vrijeme isporuke.

Odaberite jedno poboljšanje koje otklanja opaženo ograničenje. Primjerice, osigurajte podržano testno okruženje ili smanjite veličinu promjene. Odredite dodatnu metriku kvalitete kako bi tim otkrio prividno ubrzanje nastalo zbog slabijih provjera.

Održite mjerenje korisnim

Izbjegavajte rangiranje pojedinaca prema broju PR-ova ili generiranom kodu. Te mjere mogu nagraditi umjetno dijeljenje rada, izbjegavanje teškog održavanja ili prebacivanje rada pregleda kolegama.

Pregledajte rezultat s ljudima odgovornima za cijelu uslugu. Zabilježite što se promijenilo u alatu, vrsti rada, timu i okruženju. Usporedbu prije i poslije tretirajte kao dokaz s ograničenjima, a ne kao automatski dokaz uzročnosti.

Svrha je bolja sljedeća odluka. Malo, pouzdano mjerenje koje vodi do provjerenog poboljšanja korisnije je od velike nadzorne ploče bez dogovorenog značenja.

Vježbajte s deset promjena

Ovaj zaseban izmišljeni skup podataka bilježi deset planiranih promjena. Sva vremena su UTC na prikazani datum. Prazno polje ispravka znači da u ovom skupu podataka nije zabilježen ispravak.

Usporedite vrijeme od spremnog koda do početka pregleda, a zatim od prihvaćanja do izdavanja. Utvrdite najdulje vidljivo čekanje. Istražite uzrok prije tvrdnje da se moglo izbjeći. Te vremenske oznake ne mjere aktivan rad niti otkrivaju kada je incident počeo. Samo izdanje ispravka ne može utvrditi vrijeme oporavka nakon neuspjelog postavljanja.

Preuzmite izmišljeni skup podataka (CSV)