Изберете модел въз основа на доказателства

Определете решението

Сравнението на модели изисква конкретна употреба. Модел, който обяснява добре малка функция, може да не се справя толкова добре с голяма промяна в хранилище. По-евтин модел може да покрие изискването за качество при рутинни преобразувания. Трудно проучване може да изисква по-добри способности за разсъждение.

Първо запишете задачата и ограниченията. Включете разрешените данни, необходимите инструменти, времето за отговор и максималния приемлив разход. Някои ограничения са задължителни. Висок резултат по друг критерий не позволява да пренебрегнете ограничение за обработката на данни.

Използвайте представителни задачи

Създайте малък набор за оценка от работата, която екипът действително извършва. Премахнете чувствителните данни, освен ако средата за оценка е одобрена за тях. Включете прости задачи, трудни задачи и задачи, при които правилният отговор е искане за липсваща информация.

За измислена услуга за отчети използвайте известен дефект при дати, малка функционалност за филтриране и обяснение на правило за права на достъп. Подгответе очаквания резултат, преди да изпълните сравнението. Включете отрицателен тест, който отхвърля известния дефект.

Запазете част от задачите отделно от разработката на промпта. Ако многократно настройвате промпта по всеки пример, крайният резултат може да надцени общата ефективност. Отделен набор помага да установите дали подобреният промпт работи и извън примерите, използвани за създаването му.

Осигурете справедливо сравнение

Запишете точната версия на модела, промпта, предоставения контекст, инструментите и правата. Използвайте равностойни начални състояния. Ако един модел получава цяло хранилище, а друг — един файл, резултатът сравнява и работни процеси, не само модели.

Сравненията на работни процеси могат да са полезни. Обозначавайте ги правилно. Агентният продукт включва повече от модел: подборът на контекст, инструментите, ограниченията на изпълнението и поведението при възстановяване могат да повлияят на резултата.

Изпълнявайте повторни опити, когато вариацията на изхода има значение. Записвайте неуспешните опити, вместо да отчитате само най-добрия резултат. За субективни критерии използвайте писмени правила за оценяване и повече от един проверяващ, когато е практично.

Оценявайте качеството преди скоростта

Първо проверете задължителните критерии за приемане. Промяната изпълнява ли изискването? Запазва ли контролите за достъп? Съответните тестове преминават ли успешно? Може ли проверяващият да разбере diff-а?

След това сравнете усилието, изминалото време и разходите за приемливите резултати. Включете повторните опити и човешкия преглед. Евтин отговор, който изисква многократни поправки, може да направи цялата задача скъпа.

Публичните бенчмаркове могат да помогнат при подбора на кандидати. Те използват конкретни набори от задачи и методи за оценяване. Не приемайте резултата от бенчмарк като пряко измерване на производителността на екипа.

Запишете решението и условията за преразглеждане

Резултатът може да е тясно ограничена препоръка. Например: „Използвайте този модел за малки допълнения към тестовете в това хранилище, със съществуващите изисквания за преглед.“ Не е нужен един модел за всяка задача.

Посочете какво би изисквало нова оценка. Примерите включват нова версия на модела, различна конфигурация на инструментите, нова категория данни или повтарящ се тип неуспех. Запазете алтернативен подход за задачи, които надхвърлят способностите на избрания модел.

Целта на оценката е да намали несигурността при реално решение. Избягвайте постоянно състезание между модели, което изисква повече усилие от работата, на която помага.