Вымярайце карысны прагрэс

Вызначце вынік перад метрыкай

AI-інструмент можа хутка ствараць код. Карысны вынік — змена, якая задавальняе патрэбу карыстальніка пры неабходным узроўні якасці. Гэта розныя вымярэнні.

Згенераваныя радкі, прынятыя прапановы і запускі агента апісваюць дзейнасць. Яны могуць дапамагчы зразумець выкарыстанне інструмента. Яны не пацвярджаюць, што сэрвіс палепшыўся або што каманда хутчэй выканала карысную працу.

Пачніце з аднаго пытання. Напрыклад: «Ці памяншае гэты працоўны працэс агульныя намаганні, патрэбныя для невялікай задачы суправаджэння?» Вызначце, што лічыць завяршэннем задачы, перад зборам вынікаў. Уключыце неабходныя тэсты, праверку і дакументацыю.

Улічвайце ўсю задачу

Разгледзім выдуманую змену фільтра справаздачы. Без AI рэалізацыя займае 60 хвілін, а праверка — 10 хвілін. З AI рэалізацыя займае 30 хвілін, а праверка — 45 хвілін.

Рэалізацыя становіцца хутчэйшай. Вымераныя працазатраты на гэтыя этапы растуць з 70 да 75 хвілін. Ніводзін вынік не ўключае падрыхтоўку, пазнейшыя выпраўленні або дэфекты пасля выпуску. Яўна паказвайце гэтыя абмежаванні.

Гэтыя лічбы ілюструюць разлік. Яны не з’яўляюцца вынікамі даследавання або прагнозам для вашай каманды. Рост часу праверкі можа быць звязаны з большым аб’ёмам змен у diff, незнаёмым кодам або адсутным патрабаваннем. Даследуйце прычыну перад змяненнем палітыкі інструментаў.

Аддзяляйце працазатраты ад часу да завяршэння

Працазатраты вымяраюць час, які людзі выдаткоўваюць на працу. Час ад пачатку да завяршэння ўключае чаканне. Агент можа выконваць праверкі, пакуль распрацоўшчык робіць іншую задачу. Не ўлічвайце адзін і той жа час чалавека двойчы. Таксама запісвайце, колькі часу змена чакае праверкі або асяроддзя.

Працоўны працэс можа паменшыць працазатраты, не скараціўшы час пастаўкі. Гэта магчыма, калі дату завяршэння вызначае чарга ўзгадненняў. Зэканомленыя намаганні ўсё роўна могуць мець каштоўнасць, але арганізацыя павінна асобна вырашыць, як іх выкарыстаць.

Спытайце распрацоўшчыкаў, ці дапамагае працоўны працэс разумець сістэму і захоўваць засяроджанасць. Разглядайце адказы як даныя пра досвед. Не ператварайце адчуванне хуткасці ў правераны працэнт паляпшэння.

Чытайце даследаванні з улікам іх межаў

METR паведаміла пра запаволенне ў канкрэтным даследаванні дасведчаных распрацоўшчыкаў адкрытага праграмнага забеспячэння ў пачатку 2025 года. Даследаванне не вызначыла эфект для ўсіх распрацоўшчыкаў або задач. Абнаўленне за люты 2026 года апісала ўплыў адбору ўдзельнікаў і праблемы вымярэння ў пазнейшым эксперыменце.

Карысны ўрок датычыцца вымярэння. Версіі інструментаў, выбар задач, патрабаванні да якасці і паводзіны ўдзельнікаў могуць змяніць вынік. Не выкарыстоўвайце адзін гістарычны працэнт як пастаяннае правіла для распрацоўкі з AI.

Даследаванне DORA за 2025 год таксама звяртае ўвагу на арганізацыю працы вакол інструментаў. Камандзе патрэбныя эфектыўныя практыкі распрацоўкі, каб ператварыць магчымасці інструмента ў карысныя вынікі пастаўкі.

Зрабіце невялікае паўтаральнае параўнанне

Выкарыстоўвайце рэпрэзентатыўныя задачы і аднолькавыя крытэрыі завяршэння. Запісвайце версіі мадэлі і інструментаў. Улічвайце няўдалыя спробы і намаганні на праверку. Параўноўвайце некалькі задач замест выбару найлепшай дэманстрацыі.

Паведамляйце дыяпазон вынікаў і асноўныя абмежаванні. Калі змена скарачае працазатраты, але павялічвае колькасць дэфектаў, даследуйце гэта перад пашырэннем. Калі вынік неадназначны, абмяжуйце рэкамендацыю тыпамі задач, для якіх ёсць карысныя доказы.

Добрае вымярэнне падтрымлівае канкрэтнае наступнае рашэнне. Яно не павінна даказваць, што AI заўсёды добры або дрэнны.