Изберете модел врз основа на докази

Одредете ја одлуката

Споредбата на модели бара конкретна употреба. Модел што добро објаснува мала функција можеби нема подеднакво добро да се справи со голема промена во репозиториум. Поевтин модел може да го исполни барањето за квалитет за рутински преобразби. Тешко истражување може да бара поголема способност за расудување.

Прво запишете ги задачата и ограничувањата. Вклучете ги дозволените податоци, потребните алатки, времето за одговор и највисокиот прифатлив трошок. Некои ограничувања се задолжителни. Висока оценка во друга област не смее, преку просечниот резултат, да поништи ограничување за обработка на податоци.

Користете репрезентативни задачи

Создајте мал сет за оценување од работата што тимот навистина ја врши. Отстранете ги чувствителните податоци, освен ако околината за оценување е одобрена за нив. Вклучете едноставни задачи, тешки задачи и задачи кај кои точниот одговор е да се побараат информации што недостигаат.

За измислена услуга за извештаи, користете познат дефект со датуми, мала функција за филтрирање и објаснување на правило за авторизација. Подгответе го очекуваниот резултат пред споредбата. Вклучете негативен тест што го отфрла познатиот дефект.

Чувајте дел од задачите одделно од развојот на инструкциите до моделот. Ако постојано ги приспособувате инструкциите на секој пример, конечната оценка може да ги прецени општите перформанси. Одделен сет помага да се утврди дали подобрените инструкции работат и надвор од примерите со кои биле создадени.

Одржувајте правична споредба

Запишете ги точната верзија на моделот, инструкциите, приложениот контекст, алатките и дозволите. Користете еквивалентни почетни состојби. Ако еден модел добива цел репозиториум, а друг една датотека, резултатот споредува и работни текови, не само модели.

Споредбите на работни текови може да бидат корисни. Означете ги правилно. Производ со агенти вклучува повеќе од самиот модел: изборот на контекст, алатките, ограничувањата за извршување и однесувањето при обновување може да влијаат врз резултатот.

Повторувајте ги извршувањата кога разликите меѓу резултатите се важни. Запишете ги неуспешните обиди наместо да го пријавите само најдобриот резултат. За субјективни критериуми, користете пишани правила за оценување и, кога е практично, повеќе од еден рецензент.

Оценете го квалитетот пред брзината

Прво проверете ги задолжителните критериуми за прифаќање. Дали промената го исполнува барањето? Дали ги зачувува контролите на пристап? Дали релевантните тестови се успешни? Може ли рецензент да ги разбере разликите во кодот?

Потоа споредете ги трудот, изминатото време и трошокот за прифатливите резултати. Вклучете ги повторните обиди и човечкиот преглед. Евтин одговор што бара повторени поправки може да биде скап на ниво на задача.

Јавните мерни тестови може да помогнат при избор на кандидати. Тие користат определени сетови задачи и методи за бодување. Не третирајте ја оценката на мерен тест како директна мерка за продуктивноста на вашиот тим.

Запишете ја одлуката и условите за нејзино преиспитување

Резултатот може да биде тесно насочена препорака. На пример: „Користете го овој модел за мали дополнувања на тестови во овој репозиториум, со постојните барања за преглед.“ Не ви треба еден модел за секоја задача.

Наведете што би барало ново оценување. Примери се промена на верзијата на моделот, поинаква конфигурација на алатките, нова категорија податоци или повторлив образец на неуспех. Обезбедете алтернативен пристап за задачи што ја надминуваат способноста на избраниот модел.

Целта на оценувањето е да ја намали неизвесноста околу вистинска одлука. Избегнувајте постојан натпревар меѓу модели што троши повеќе труд од работата што ја поддржува.