Vali mudel tõendite põhjal

Määra otsus

Mudelite võrdlus vajab konkreetset kasutusjuhtu. Väikest funktsiooni hästi selgitav mudel ei pruugi suure koodihoidla muudatusega sama hästi toime tulla. Väiksema kuluga mudel võib täita rutiinsete teisenduste kvaliteedinõude. Keeruline uurimine võib vajada suuremat arutlusvõimet.

Kirjuta kõigepealt ülesanne ja piirangud. Lisa lubatud andmed, vajalikud tööriistad, vastamisaeg ja suurim vastuvõetav kulu. Mõned piirangud on kohustuslikud. Kõrge tulemus teises kategoorias ei anna luba eirata andmetöötluse piirangut.

Kasuta esinduslikke ülesandeid

Koosta väike hindamiskomplekt tööst, mida su meeskond päriselt teeb. Eemalda tundlikud andmed, kui hindamiskeskkond pole nende andmete jaoks heaks kiidetud. Lisa lihtsaid ülesandeid, keerulisi ülesandeid ja ülesandeid, mille õige vastus on küsida puuduvat teavet.

Väljamõeldud aruandlusteenuse puhul kasuta teadaolevat kuupäevaviga, väikest filtrifunktsiooni ja autoriseerimisreegli selgitust. Valmista oodatud tulemus ette enne võrdlust. Lisa negatiivne test, mis tuvastab teadaoleva vea.

Hoia mõned ülesanded prompt’i arendamisest lahus. Kui kohandad prompt’i korduvalt iga näite järgi, võib lõpptulemus üldist jõudlust üle hinnata. Eraldi komplekt aitab näidata, kas täiustatud prompt töötab ka väljaspool selle loomiseks kasutatud näiteid.

Hoia võrdlus õiglane

Pane kirja täpne mudeli versioon, prompt, antud kontekst, tööriistad ja õigused. Kasuta samaväärseid lähteolekuid. Kui üks mudel saab täieliku koodihoidla ja teine ühe faili, võrdleb tulemus lisaks mudelitele ka töövooge.

Töövoogude võrdlused võivad olla kasulikud. Nimeta need õigesti. Agenditoode sisaldab enamat kui mudelit: konteksti valik, tööriistad, täitmispiirangud ja taastumiskäitumine võivad tulemust mõjutada.

Kasuta korduvaid käivitusi, kui väljundi varieeruvus on oluline. Pane kirja ka ebaõnnestunud katsed, mitte ainult parim tulemus. Subjektiivsete kriteeriumide puhul kasuta kirjalikku hindamisjuhendit ja võimaluse korral mitut ülevaatajat.

Hinda kvaliteeti enne kiirust

Kõigepealt kontrolli kohustuslikke vastuvõtukriteeriume. Kas muudatus täidab nõude? Kas see säilitab juurdepääsukontrollid? Kas asjakohased testid õnnestuvad? Kas ülevaataja saab diff’ist aru?

Seejärel võrdle vastuvõetavate tulemuste töömahtu, kulunud aega ja kulu. Arvesta korduskatseid ja inimese ülevaatust. Odav vastus, mis vajab korduvat parandamist, võib ülesande tasemel kalliks osutuda.

Avalikud võrdlustestid võivad aidata kandidaate leida. Need kasutavad kindlaid ülesandekomplekte ja hindamismeetodeid. Ära käsitle võrdlustesti tulemust oma meeskonna tootlikkuse otsese mõõtmisena.

Pane kirja otsus ja selle kehtivuse lõpu tingimused

Tulemus võib olla kitsas soovitus. Näiteks: „Kasuta seda mudelit selles koodihoidlas väikeste testilisanduste jaoks, säilitades senised ülevaatusnõuded.“ Sa ei vaja üht mudelit iga ülesande jaoks.

Sõnasta, mis nõuaks uut hindamist. Näiteks mudeli versiooni muutus, teine tööriistaseadistus, uus andmekategooria või püsiv tõrkemuster. Hoia varulahendust ülesannetele, mis ületavad valitud mudeli võimekuse.

Hindamise eesmärk on vähendada ebakindlust päris otsuse kohta. Väldi alalist mudelivõistlust, mis kulutab rohkem tööd kui tegevus, mida see toetab.