Izvēlieties modeli pēc pierādījumiem

Definējiet lēmumu

Modeļu salīdzinājumam vajag konkrētu lietojumu. Modelis, kas labi izskaidro nelielu funkciju, var ne tik labi tikt galā ar lielām repozitorija izmaiņām. Lētāks modelis var izpildīt kvalitātes prasību ikdienišķiem pārveidojumiem. Sarežģītai izpētei var vajadzēt spēcīgākas spriešanas spējas.

Vispirms uzrakstiet uzdevumu un ierobežojumus. Iekļaujiet atļautos datus, vajadzīgos rīkus, atbildes laiku un maksimāli pieņemamās izmaksas. Daži ierobežojumi ir obligāti. Neizšķīdiniet datu apstrādes ierobežojumu vidējā vērtējumā tāpēc, ka cits rādītājs ir augsts.

Izmantojiet raksturīgus uzdevumus

Izveidojiet nelielu novērtēšanas kopu no darba, kuru komanda patiešām dara. Izņemiet sensitīvos datus, ja vien novērtēšanas vide nav apstiprināta šiem datiem. Iekļaujiet vienkāršus uzdevumus, grūtus uzdevumus un uzdevumus, kuros pareizā atbilde ir lūgt trūkstošo informāciju.

Izdomātam pārskatu pakalpojumam izmantojiet zināmu datuma defektu, nelielu filtra funkciju un autorizācijas noteikuma skaidrojumu. Sagatavojiet gaidāmo rezultātu pirms salīdzinājuma izpildes. Iekļaujiet negatīvu testu, kas atklāj zināmo defektu un neizdodas.

Dažus uzdevumus turiet atsevišķi no uzvednes izstrādes. Ja atkārtoti pielāgojat uzvedni visiem piemēriem, galīgais vērtējums var pārspīlēt vispārējo sniegumu. Atsevišķa kopa palīdz atklāt, vai uzlabotā uzvedne darbojas arī ārpus tās izveidei izmantotajiem piemēriem.

Saglabājiet salīdzinājumu godīgu

Reģistrējiet precīzu modeļa versiju, uzvedni, sniegto kontekstu, rīkus un tiesības. Izmantojiet līdzvērtīgus sākuma stāvokļus. Ja viens modelis saņem visu repozitoriju, bet otrs — vienu failu, rezultāts salīdzina ne tikai modeļus, bet arī darbplūsmas.

Darbplūsmu salīdzinājumi var būt noderīgi. Apzīmējiet tos pareizi. Aģenta produkts ietver vairāk nekā modeli: konteksta atlase, rīki, izpildes limiti un atjaunošanas darbība var ietekmēt rezultātu.

Izmantojiet atkārtotas izpildes, ja izvades mainīgums ir svarīgs. Reģistrējiet neveiksmīgos mēģinājumus, nevis ziņojiet tikai par labāko rezultātu. Subjektīviem kritērijiem izmantojiet rakstisku vērtēšanas shēmu un, kur praktiski iespējams, vairāk nekā vienu pārskatītāju.

Vērtējiet kvalitāti pirms ātruma

Vispirms pārbaudiet obligātos pieņemšanas kritērijus. Vai izmaiņa atbilst prasībai? Vai tā saglabā piekļuves kontroli? Vai attiecīgie testi izdodas? Vai pārskatītājs var saprast diff?

Tad pieņemamiem rezultātiem salīdziniet darba ieguldījumu, pagājušo laiku un izmaksas. Iekļaujiet atkārtotos mēģinājumus un cilvēka pārskatīšanu. Lēta atbilde, kas atkārtoti jālabo, uzdevuma līmenī var būt dārga.

Publiski etalontesti var palīdzēt atrast kandidātus. Tie izmanto konkrētas uzdevumu kopas un vērtēšanas metodes. Neuztveriet etalontesta punktus kā tiešu savas komandas produktivitātes mērījumu.

Reģistrējiet lēmumu un tā pārskatīšanas nosacījumus

Rezultāts var būt šaurs ieteikums. Piemēram: „Izmantojiet šo modeli nelieliem testu papildinājumiem šajā repozitorijā, saglabājot esošās pārskatīšanas prasības.“ Nav vajadzīgs viens modelis visiem uzdevumiem.

Norādiet, kas prasītu jaunu novērtējumu. Piemēri ir modeļa versijas maiņa, cita rīku konfigurācija, jauna datu kategorija vai noturīgs kļūmju modelis. Saglabājiet rezerves risinājumu uzdevumiem, kas pārsniedz izvēlētā modeļa spējas.

Novērtēšanas mērķis ir samazināt nenoteiktību par īstu lēmumu. Izvairieties no nebeidzamas modeļu sacensības, kas patērē vairāk darba nekā uzdevumi, kuriem tā palīdz.