Izberite model na podlagi dokazov

Določite odločitev

Primerjava modelov potrebuje določeno uporabo. Model, ki dobro pojasni majhno funkcijo, morda ne obvlada enako dobro obsežne spremembe repozitorija. Cenejši model lahko izpolni zahteve glede kakovosti pri rutinskih pretvorbah. Zahtevna preiskava lahko potrebuje večjo zmožnost sklepanja.

Najprej zapišite nalogo in omejitve. Vključite dovoljene podatke, potrebna orodja, odzivni čas in najvišji sprejemljivi strošek. Nekatere omejitve so obvezne. Visoka ocena drugje ne sme izničiti omejitve ravnanja s podatki.

Uporabite reprezentativne naloge

Iz dela, ki ga vaša ekipa dejansko opravlja, sestavite majhen nabor za ocenjevanje. Odstranite občutljive podatke, razen če je okolje za ocenjevanje odobreno za te podatke. Vključite preproste in zahtevne naloge ter naloge, pri katerih je pravilen odgovor zahteva za manjkajoče informacije.

Za izmišljeno storitev poročanja uporabite znano napako z datumi, majhno funkcijo filtriranja in pojasnilo pravila avtorizacije. Pričakovani rezultat pripravite pred primerjavo. Vključite negativen test, ki zazna znano napako.

Nekaj nalog ohranite ločenih od razvoja poziva. Če poziv večkrat prilagajate na vseh primerih, lahko končni rezultat preceni splošno uspešnost. Ločen nabor pomaga pokazati, ali izboljšani poziv deluje tudi zunaj primerov, s katerimi je nastal.

Poskrbite za pošteno primerjavo

Zabeležite natančno različico modela, poziv, priloženi kontekst, orodja in dovoljenja. Uporabite enakovredna začetna stanja. Če en model dobi celoten repozitorij, drugi pa eno datoteko, rezultat primerja tudi delovne tokove in ne samo modelov.

Primerjave delovnih tokov so lahko uporabne. Pravilno jih označite. Izdelek z agentom vključuje več kot model: na rezultat lahko vplivajo izbor konteksta, orodja, omejitve izvajanja in ravnanje ob napaki.

Kadar je raznolikost izhodov pomembna, izvedbo ponovite. Zabeležite neuspešne poskuse, namesto da poročate samo o najboljšem rezultatu. Za subjektivna merila uporabite pisna ocenjevalna pravila in, kadar je izvedljivo, več pregledovalcev.

Kakovost ocenite pred hitrostjo

Najprej preverite obvezna merila sprejemljivosti. Ali sprememba izpolnjuje zahtevo? Ali ohranja nadzor dostopa? Ali ustrezni testi uspejo? Ali pregledovalec razume diff?

Nato pri sprejemljivih rezultatih primerjajte vloženi čas, čas od začetka do konca in stroške. Vključite ponovne poskuse in človeški pregled. Poceni odgovor, ki zahteva večkratno popravljanje, je lahko drag na ravni celotne naloge.

Javni primerjalni testi lahko pomagajo pri izboru kandidatov. Uporabljajo določene nabore nalog in metode ocenjevanja. Rezultata takega testa ne obravnavajte kot neposredne meritve produktivnosti vaše ekipe.

Zabeležite odločitev in pogoje za njeno ponovno presojo

Rezultat je lahko ozko priporočilo. Na primer: »Ta model uporabljajte za manjše dodatke testov v tem repozitoriju ob obstoječih zahtevah za pregled.« Za vse naloge ne potrebujete enega modela.

Navedite, kaj bi zahtevalo novo ocenjevanje. Primeri vključujejo spremembo različice modela, drugačno konfiguracijo orodij, novo kategorijo podatkov ali ponavljajoč se vzorec napak. Ohranite nadomestni način dela za naloge, ki presegajo zmožnosti izbranega modela.

Namen ocenjevanja je zmanjšati negotovost pri resnični odločitvi. Izognite se nenehnemu tekmovanju modelov, ki porabi več dela, kot ga podpira.