Válasszon modellt bizonyítékok alapján

Határozza meg a döntést

A modellek összehasonlításához konkrét felhasználás szükséges. Egy kis függvényt jól magyarázó modell nem feltétlenül kezel ugyanilyen jól egy nagy repozitármódosítást. Az olcsóbb modell megfelelhet a rutinátalakítások minőségi követelményeinek. Egy nehéz vizsgálat nagyobb következtetési képességet igényelhet.

Először a feladatot és a korlátokat írja le. Térjen ki az engedélyezett adatokra, a szükséges eszközökre, a válaszidőre és a legnagyobb elfogadható költségre. Egyes korlátok kötelezőek. Az adatkezelési korlátozást nem ellensúlyozhatja egy másik szempont magas pontszáma.

Használjon reprezentatív feladatokat

Állítson össze kis értékelési feladatsort a csapat tényleges munkájából. Távolítsa el az érzékeny adatokat, ha az értékelési környezetet nem hagyták jóvá ezek kezelésére. Legyenek benne egyszerű és nehéz feladatok, valamint olyanok, amelyeknél a helyes válasz a hiányzó információ bekérése.

Egy fiktív riportkészítő szolgáltatásnál használjon ismert dátumhibát, kis szűrőfunkciót és egy jogosultsági szabály magyarázatát. Az összehasonlítás futtatása előtt készítse el az elvárt eredményt. Adjon hozzá negatív tesztet, amely kimutatja az ismert hibát.

Néhány feladatot tartson külön a promptfejlesztéstől. Ha a promptot ismételten minden példához hozzáigazítja, a végső pontszám túlbecsülheti az általános teljesítményt. Egy külön feladatsor megmutatja, hogy a javított prompt a fejlesztéshez használt példákon kívül is működik-e.

Biztosítson összehasonlítható feltételeket

Rögzítse a pontos modellverziót, a promptot, az átadott kontextust, az eszközöket és a jogosultságokat. Használjon egyenértékű kiindulási állapotokat. Ha az egyik modell teljes repozitárt, a másik csak egy fájlt kap, az eredmény munkafolyamatokat is összehasonlít, nem csupán modelleket.

A munkafolyamatok összehasonlítása hasznos lehet. Nevezze meg pontosan, mit mér. Az agenttermék nem csak modellből áll. A kontextus kiválasztása, az eszközök, a végrehajtási korlátok és a helyreállítás működése is hat az eredményre.

Ha a kimenetek változékonysága számít, végezzen ismételt futtatásokat. A sikertelen próbálkozásokat is rögzítse a legjobb eredmény kiemelése helyett. Szubjektív szempontokhoz használjon írásos értékelési útmutatót, és lehetőség szerint több reviewert.

A sebesség előtt értékelje a minőséget

Először a kötelező elfogadási feltételeket ellenőrizze. A módosítás teljesíti a követelményt? Megőrzi a hozzáférés-szabályozást? Sikeresek a releváns tesztek? A reviewer meg tudja érteni a diffet?

Ezután az elfogadható eredmények ráfordítását, eltelt idejét és költségét hasonlítsa össze. Számolja bele az újrapróbálkozásokat és az emberi review-t. Egy olcsó válasz, amely ismételt javítást igényel, a teljes feladat szintjén drága lehet.

A nyilvános benchmarkok segíthetnek kiválasztani a vizsgálandó modelleket. Meghatározott feladatsorokat és pontozási módszereket használnak. A benchmarkpontszámot ne tekintse a csapat termelékenysége közvetlen mérésének.

Rögzítse a döntést és az újraértékelés feltételeit

Az eredmény lehet szűk körű ajánlás. Például: „Ezt a modellt használja kis tesztbővítésekhez ebben a repozitárban, a meglévő review-követelmények mellett.” Nem kell minden feladathoz ugyanazt a modellt használnia.

Adja meg, mikor kell új értékelés. Ilyen lehet a modellverzió változása, eltérő eszközkonfiguráció, új adatkategória vagy tartós hibaminta. Tartson fenn alternatív eljárást a kiválasztott modell képességeit meghaladó feladatokra.

Az értékelés célja egy valós döntés bizonytalanságának csökkentése. Kerülje az állandó modellversenyt, amely több ráfordítást igényel, mint az általa támogatott munka.