Odaberite model na osnovu dokaza

Odredite o čemu odlučujete

Poređenje modela treba konkretnu namjenu. Model koji dobro objašnjava malu funkciju možda neće jednako dobro obraditi veliku promjenu repozitorija. Jeftiniji model može ispuniti zahtjev kvaliteta za rutinske transformacije. Teška istraga može zahtijevati veću sposobnost zaključivanja.

Prvo napišite zadatak i ograničenja. Uključite dozvoljene podatke, potrebne alate, vrijeme odgovora i najveći prihvatljivi trošak. Neka ograničenja su obavezna. Visok rezultat u drugoj kategoriji ne smije kroz prosjek poništiti ograničenje obrade podataka.

Koristite reprezentativne zadatke

Napravite mali skup za evaluaciju od rada koji vaš tim stvarno obavlja. Uklonite osjetljive podatke, osim ako je okruženje za evaluaciju odobreno za te podatke. Uključite jednostavne i teške zadatke, kao i zadatke kod kojih je tačan odgovor zatražiti informacije koje nedostaju.

Za izmišljenu uslugu izvještavanja koristite poznatu grešku s datumom, malu funkciju filtriranja i objašnjenje pravila autorizacije. Pripremite očekivani rezultat prije poređenja. Uključite negativni test koji otkriva poznatu grešku.

Odvojite neke zadatke od razvoja prompta. Ako stalno podešavate prompt na svakom primjeru, konačni rezultat može precijeniti opću uspješnost. Odvojeni skup pomaže pokazati radi li poboljšani prompt i izvan primjera korištenih za njegovu izradu.

Osigurajte pravično poređenje

Zabilježite tačnu verziju modela, prompt, dostavljeni kontekst, alate i dozvole. Koristite ekvivalentna početna stanja. Ako jedan model dobije cijeli repozitorij, a drugi jedan fajl, rezultat poredi i radne tokove, ne samo modele.

Poređenja radnih tokova mogu biti korisna. Ispravno ih označite. Agentski proizvod obuhvata više od samog modela: odabir konteksta, alati, ograničenja izvršavanja i ponašanje pri oporavku mogu utjecati na rezultat.

Ponavljajte izvršavanje kada su razlike između izlaza važne. Bilježite neuspješne pokušaje umjesto da prijavite samo najbolji rezultat. Za subjektivne kriterije koristite pisana pravila ocjenjivanja i, kada je to praktično, uključite više osoba u pregled.

Ocijenite kvalitet prije brzine

Prvo provjerite obavezne kriterije prihvatanja. Ispunjava li promjena zahtjev? Čuva li kontrole pristupa? Prolaze li relevantni testovi? Može li osoba koja pregleda kod razumjeti razliku u kodu?

Zatim uporedite uloženo radno vrijeme, proteklo vrijeme i trošak za prihvatljive rezultate. Uključite ponovne pokušaje i ljudski pregled. Jeftin odgovor koji zahtijeva ponovljene ispravke može biti skup na nivou zadatka.

Javni benchmarkovi mogu pomoći u pronalaženju kandidata. Koriste određene skupove zadataka i metode bodovanja. Nemojte tretirati rezultat benchmarka kao neposredno mjerenje produktivnosti vašeg tima.

Zabilježite odluku i uslove kada je treba ponovo procijeniti

Rezultat može biti uska preporuka. Naprimjer: „Koristite ovaj model za male dodatke testovima u ovom repozitoriju, uz postojeće zahtjeve pregleda.“ Ne morate koristiti jedan model za svaki zadatak.

Navedite šta bi zahtijevalo novu evaluaciju. Primjeri uključuju novu verziju modela, drugačiju konfiguraciju alata, novu kategoriju podataka ili obrazac ponavljanih neuspjeha. Zadržite rezervni pristup za zadatke koji premašuju sposobnosti odabranog modela.

Svrha evaluacije je smanjiti neizvjesnost pri stvarnoj odluci. Izbjegavajte trajno takmičenje modela koje troši više rada nego zadaci kojima treba pomoći.