Vyberte model na základe dôkazov

Definujte rozhodnutie

Porovnanie modelov potrebuje konkrétne použitie. Model, ktorý dobre vysvetlí malú funkciu, nemusí rovnako dobre zvládnuť veľkú zmenu repozitára. Lacnejší model môže spĺňať požiadavky na kvalitu pri rutinných transformáciách. Náročné vyšetrovanie môže vyžadovať väčšiu schopnosť uvažovať.

Najprv napíšte úlohu a obmedzenia. Zahrňte povolené údaje, potrebné nástroje, čas odpovede a maximálne prijateľné náklady. Niektoré obmedzenia sú povinné. Vysoké skóre v inej oblasti nesmie prekryť obmedzenie spracovania údajov.

Použite reprezentatívne úlohy

Vytvorte malý hodnotiaci súbor z práce, ktorú tím skutočne vykonáva. Odstráňte citlivé údaje, pokiaľ pre ne nie je hodnotiace prostredie schválené. Zahrňte jednoduché úlohy, náročné úlohy aj úlohy, pri ktorých je správnou odpoveďou vyžiadať si chýbajúce informácie.

Pre fiktívnu reportovaciu službu použite známu chybu dátumu, malú funkciu filtra a vysvetlenie autorizačného pravidla. Očakávaný výsledok pripravte pred spustením porovnania. Zahrňte negatívny test, ktorý odmietne známu chybu.

Niektoré úlohy oddeľte od tvorby promptu. Ak prompt opakovane ladíte na každom príklade, záverečné skóre môže nadhodnotiť všeobecnú úspešnosť. Samostatný súbor pomôže odhaliť, či zlepšený prompt funguje aj mimo príkladov použitých pri jeho tvorbe.

Zachovajte férové porovnanie

Zaznamenajte presnú verziu modelu, prompt, poskytnutý kontext, nástroje a oprávnenia. Použite rovnocenné počiatočné stavy. Ak jeden model dostane celý repozitár a druhý jeden súbor, výsledok porovnáva aj pracovné postupy, nielen modely.

Porovnania pracovných postupov môžu byť užitočné. Správne ich označte. Produkt s agentom zahŕňa viac než model. Výber kontextu, nástroje, limity vykonávania a správanie pri obnove môžu ovplyvniť výsledok.

Ak záleží na variabilite výstupu, použite opakované spustenia. Zaznamenajte neúspešné pokusy namiesto hlásenia iba najlepšieho výsledku. Pri subjektívnych kritériách používajte písomné pravidlá hodnotenia a podľa možností viac než jedného hodnotiteľa.

Hodnoťte kvalitu pred rýchlosťou

Najprv overte povinné akceptačné kritériá. Spĺňa zmena požiadavku? Zachováva riadenie prístupu? Prechádzajú relevantné testy? Dokáže kontrolujúca osoba pochopiť diff?

Potom pri prijateľných výsledkoch porovnajte prácnosť, uplynutý čas a náklady. Zahrňte opakované pokusy a ľudskú kontrolu. Lacná odpoveď, ktorá potrebuje opakované opravy, môže byť na úrovni celej úlohy drahá.

Verejné benchmarky môžu pomôcť vybrať kandidátov. Používajú konkrétne súbory úloh a metódy hodnotenia. Skóre benchmarku nepovažujte za priame meranie produktivity tímu.

Zaznamenajte rozhodnutie a podmienky jeho prehodnotenia

Výsledkom môže byť úzko vymedzené odporúčanie. Napríklad: „Používajte tento model na malé doplnenia testov v tomto repozitári pri zachovaní existujúcich požiadaviek na kontrolu.“ Na každú úlohu nepotrebujete rovnaký model.

Uveďte, čo by vyžadovalo nové hodnotenie. Príkladmi sú zmena verzie modelu, iná konfigurácia nástrojov, nová kategória údajov alebo opakujúci sa vzor zlyhaní. Zachovajte náhradný postup pre úlohy, ktoré prekračujú schopnosti vybraného modelu.

Účelom hodnotenia je znížiť neistotu pri skutočnom rozhodnutí. Vyhnite sa trvalej súťaži modelov, ktorá spotrebuje viac práce než činnosť, ktorú podporuje.