Изаберите модел на основу доказа

Дефинишите одлуку

Поређењу модела потребна је конкретна намена. Модел који добро објашњава малу функцију можда неће подједнако добро извести велику промену репозиторијума. Јефтинији модел може да задовољи захтев за квалитет код рутинских трансформација. Тешко истраживање може да захтева већу способност закључивања.

Прво запишите задатак и ограничења. Укључите дозвољене податке, потребне алате, време одговора и највећи прихватљив трошак. Нека ограничења су обавезна. Не допустите да висок резултат у другој категорији, кроз просечну оцену, прикрије ограничење поступања са подацима.

Користите репрезентативне задатке

Направите мали скуп за процену од послова које ваш тим заиста обавља. Уклоните осетљиве податке, осим ако је окружење за процену одобрено за те податке. Укључите једноставне задатке, тешке задатке и задатке у којима је исправан одговор захтев за информације које недостају.

За измишљен сервис за извештавање користите познату грешку у обради датума, малу функцију филтрирања и објашњење правила ауторизације. Припремите очекивани резултат пре поређења. Укључите негативан тест који не пролази када је позната грешка присутна.

Део задатака држите одвојено од развоја упита. Ако упит стално прилагођавате сваком примеру, коначни резултат може да прецени општу успешност. Засебан скуп помаже да се види да ли побољшани упит ради и изван примера коришћених за његову израду.

Обезбедите правично поређење

Забележите тачну верзију модела, упит, приложени контекст, алате и дозволе. Користите једнака почетна стања. Ако један модел добије цео репозиторијум, а други једну датотеку, резултат пореди и токове рада, а не само моделе.

Поређења токова рада могу да буду корисна. Исправно их означите. Агентски производ обухвата више од модела: избор контекста, алати, ограничења извршавања и понашање при опоравку могу да утичу на резултат.

Поновите извршавање када је варирање резултата важно. Забележите неуспеле покушаје уместо да пријавите само најбољи резултат. За субјективне критеријуме користите писана правила оцењивања и више од једне особе за преглед када је то изводљиво.

Оцените квалитет пре брзине

Прво проверите обавезне критеријуме прихватања. Да ли промена испуњава захтев? Да ли чува контроле приступа? Да ли релевантни тестови пролазе? Може ли особа која прегледа промену да разуме diff?

Затим упоредите уложени рад, протекло време и трошак прихватљивих резултата. Укључите поновне покушаје и људски преглед. Јефтин одговор који захтева поновљене исправке може да буде скуп на нивоу целог задатка.

Јавни benchmark тестови могу да помогну у избору кандидата. Они користе одређене скупове задатака и методе бодовања. Не третирајте benchmark резултат као директну меру продуктивности свог тима.

Забележите одлуку и услове за њено преиспитивање

Резултат може да буде уско одређена препорука. На пример: „Користите овај модел за мале допуне тестова у овом репозиторијуму, уз постојеће захтеве за преглед.” Није вам потребан један модел за сваки задатак.

Наведите шта би захтевало нову процену. Примери су промена верзије модела, другачија конфигурација алата, нова категорија података или упоран образац отказа. Обезбедите резервно решење за задатке који превазилазе способност изабраног модела.

Сврха процене је да смањи неизвесност у стварној одлуци. Избегавајте трајно такмичење модела које троши више рада него посао коме служи.