Pasirinkite modelį remdamiesi įrodymais

Apibrėžkite sprendimą

Modelių palyginimui reikia konkretaus naudojimo atvejo. Modelis, kuris gerai paaiškina nedidelę funkciją, gali ne taip gerai atlikti didelį kodo saugyklos pakeitimą. Pigesnis modelis gali atitikti įprastų transformacijų kokybės reikalavimą. Sudėtingam tyrimui gali reikėti geresnių samprotavimo gebėjimų.

Pirmiausia užrašykite užduotį ir apribojimus. Įtraukite leidžiamus duomenis, būtinus įrankius, atsako laiką ir didžiausią priimtiną kainą. Kai kurie apribojimai privalomi. Aukštas kitos kategorijos balas nesuteikia leidimo nepaisyti duomenų tvarkymo apribojimo.

Naudokite tipiškas užduotis

Sudarykite nedidelį vertinimo rinkinį iš darbo, kurį komanda iš tiesų atlieka. Pašalinkite jautrius duomenis, nebent vertinimo aplinka jiems patvirtinta. Įtraukite paprastas, sudėtingas užduotis ir tokias, kur teisingas atsakymas yra paprašyti trūkstamos informacijos.

Išgalvotai ataskaitų paslaugai naudokite žinomą datos klaidą, nedidelę filtro funkciją ir autorizavimo taisyklės paaiškinimą. Parenkite numatytą rezultatą prieš pradėdami palyginimą. Įtraukite neigiamą testą, kuris aptinka žinomą klaidą ir nepraeina.

Kai kurias užduotis laikykite atskirai nuo užklausų modeliui tobulinimo. Jei nuolat derinate užklausą pagal kiekvieną pavyzdį, galutinis balas gali pervertinti bendrą veiksmingumą. Atskiras rinkinys padeda nustatyti, ar patobulinta užklausa veikia ir su pavyzdžiais, kurie nebuvo naudojami jai kurti.

Užtikrinkite sąžiningą palyginimą

Užrašykite tikslią modelio versiją, užklausą, pateiktą kontekstą, įrankius ir teises. Naudokite lygiavertes pradines būsenas. Jei vienas modelis gauna visą kodo saugyklą, o kitas – vieną failą, rezultatas lygina ne tik modelius, bet ir darbo eigas.

Darbo eigų palyginimai gali būti naudingi. Teisingai juos įvardykite. Agento produktas apima daugiau nei modelį: konteksto atranka, įrankiai, vykdymo ribos ir atkūrimo veikimas gali paveikti rezultatą.

Kai rezultatų svyravimas svarbus, atlikite pakartotinius vykdymus. Užrašykite nesėkmingus bandymus, o ne tik geriausią rezultatą. Subjektyviems kriterijams naudokite užrašytą vertinimo schemą ir, kur praktiška, daugiau nei vieną peržiūrėtoją.

Kokybę vertinkite prieš greitį

Pirmiausia patikrinkite privalomus priėmimo kriterijus. Ar pakeitimas atitinka reikalavimą? Ar išlaiko prieigos kontrolės priemones? Ar susiję testai praeina? Ar peržiūrėtojas gali suprasti diff?

Tada palyginkite priimtinų rezultatų darbo sąnaudas, praėjusį laiką ir kainą. Įtraukite pakartotinius bandymus ir žmogaus peržiūrą. Pigus atsakymas, kurį reikia nuolat taisyti, visos užduoties mastu gali kainuoti brangiai.

Vieši etaloniniai testai gali padėti atrinkti kandidatus. Jie naudoja konkrečius užduočių rinkinius ir vertinimo metodus. Nelaikykite etaloninio testo balo tiesioginiu savo komandos našumo matu.

Užrašykite sprendimą ir jo peržiūros sąlygas

Rezultatas gali būti siaura rekomendacija. Pavyzdžiui: „Naudokite šį modelį nedideliems testų papildymams šioje kodo saugykloje, laikydamiesi esamų peržiūros reikalavimų.“ Nereikia vieno modelio visoms užduotims.

Nurodykite, dėl ko reikėtų naujo vertinimo. Pavyzdžiai: modelio versijos pakeitimas, kita įrankio konfigūracija, nauja duomenų kategorija ar nuolat pasikartojanti nesėkmė. Turėkite atsarginį sprendimą užduotims, kurios viršija pasirinkto modelio gebėjimus.

Vertinimo tikslas yra mažinti neaiškumą dėl tikro sprendimo. Venkite nuolatinių modelių varžybų, kurios sunaudoja daugiau darbo, nei padeda atlikti.