Valitse kielimalli näytön perusteella

Rajaa päätös

Mallivertailu tarvitsee tietyn käyttötarkoituksen. Pienen funktion hyvin selittävä malli ei välttämättä onnistu laajassa repositoriomuutoksessa yhtä hyvin. Edullisempi malli voi täyttää rutiinimuunnoksen laatuvaatimuksen. Vaikea selvitystehtävä saattaa vaatia enemmän päättelykykyä.

Kirjaa ensin tehtävä ja reunaehdot. Mitä tietoja saa käyttää? Mitä työkaluja tarvitaan? Millainen vasteaika ja kustannus hyväksytään? Osa ehdoista on pakollisia. Tietojen käsittelyrajaa ei voi sivuuttaa korkean kokonaispistemäärän perusteella.

Käytä edustavia tehtäviä

Kokoa pieni arviointiaineisto tiimin todellisesta työstä. Poista arkaluonteiset tiedot, ellei arviointiympäristöä ole hyväksytty niiden käsittelyyn. Ota mukaan helppoja ja vaikeita tehtäviä sekä tilanteita, joissa oikea vastaus on pyytää puuttuvaa tietoa.

Kuvitteellisessa raportointipalvelussa tehtäviä voisivat olla tunnettu päivämäärävirhe, pieni suodatusominaisuus ja käyttöoikeussäännön selittäminen. Määrittele odotettu tulos ennen vertailua. Lisää kielteinen testi, joka hylkää tunnetun virheen.

Pidä osa tehtävistä erillään promptin kehittämisestä. Jos muokkaat promptia jatkuvasti kaikkien esimerkkien perusteella, lopullinen tulos voi näyttää yleistä suorituskykyä paremmalta. Erillinen aineisto auttaa näkemään, toimiiko prompti uusissakin tehtävissä.

Pidä vertailu tasapuolisena

Kirjaa tarkka malliversio, prompti, konteksti, työkalut ja käyttöoikeudet. Aloita vastaavista tilanteista. Jos yksi malli saa koko repositorion ja toinen vain yhden tiedoston, vertaat mallien lisäksi työnkulkuja.

Työnkulkujen vertailu voi olla hyödyllistä. Nimeä vertailu oikein. Agenttituotteessa mallin lisäksi vaikuttavat kontekstin valinta, työkalut, suoritusrajat ja virheistä palautuminen.

Toista ajoja, jos tulosten vaihtelulla on merkitystä. Kirjaa epäonnistumisetkin. Älä raportoi vain parasta yritystä. Käytä subjektiivisiin kriteereihin kirjattua arviointiohjetta ja mahdollisuuksien mukaan useampaa arvioijaa.

Tarkista laatu ennen nopeutta

Arvioi ensin pakolliset hyväksymiskriteerit. Täyttääkö muutos vaatimuksen? Säilyvätkö käyttöoikeusrajat? Onnistuvatko tarvittavat testit? Pystyykö tarkastaja ymmärtämään diffin?

Vertaa sitten hyväksyttävien tulosten työmäärää, läpimenoaikaa ja kustannuksia. Ota uudelleenyritykset ja ihmisen tarkastus mukaan. Halpa vastaus voi tulla tehtävätasolla kalliiksi, jos sitä pitää korjata toistuvasti.

Julkiset benchmarkit auttavat löytämään vaihtoehtoja. Niillä on omat tehtävänsä ja pisteytystapansa. Benchmark-tulos ei suoraan mittaa tiimisi tuottavuutta.

Kirjaa päätös ja uudelleenarvioinnin ehdot

Suositus saa olla rajattu: ”Käytä tätä mallia pienten testilisäysten tekemiseen tässä repositoriossa nykyisillä tarkastusvaatimuksilla.” Kaikki tehtävät eivät tarvitse samaa mallia.

Kirjaa, mikä käynnistää uuden arvioinnin. Syynä voi olla malliversio, työkalukonfiguraatio, uusi tietoluokka tai toistuva virhe. Sovi myös toimintatapa tehtäville, jotka ylittävät valitun mallin kyvykkyyden.

Arvioinnin tarkoitus on vähentää todellisen päätöksen epävarmuutta. Jatkuva mallikilpailu ei saa kuluttaa enemmän työtä kuin se auttaa tekemään.