Мерите користан напредак

Дефинишите исход пре метрике

AI алат може брзо да генерише код. Користан исход је промена која задовољава потребу корисника уз захтевани ниво квалитета. То су различита мерења.

Генерисани редови, прихваћени предлози и покретања агента описују активност. Могу да вам помогну да разумете употребу алата. Не доказују да је сервис побољшан или да је тим раније испоручио користан резултат.

Почните једним питањем. На пример: „Да ли овај ток рада смањује укупан рад потребан за завршетак малог задатка одржавања?” Дефинишите завршетак пре прикупљања резултата. Укључите потребне тестове, преглед и документацију.

Рачунајте цео задатак

Размотримо измишљену промену филтера извештаја. Без AI имплементација траје 60 минута, а преглед 10 минута. Уз AI имплементација траје 30 минута, а преглед 45 минута.

Имплементација је бржа. Измерено време рада у овим фазама расте са 70 на 75 минута. Ниједан резултат не обухвата припрему, касније исправке или грешке после објављивања. Јасно наведите та ограничења.

Ове вредности илуструју рачун. Нису резултати истраживања нити прогноза за ваш тим. Дужи преглед може да буде последица већег diff приказа, непознатог кода или изостављеног захтева. Истражите узрок пре него што промените политику употребе алата.

Раздвојите време рада од протеклог времена

Уложени рад мери време које људи проведу радећи. Протекло време укључује и чекање. Агент може да извршава провере док програмер ради други задатак. Не рачунајте исто људско време два пута. Забележите и колико дуго промена чека преглед или окружење.

Ток рада може да смањи потребан рад, а да не скрати време испоруке. То може да се деси када ред за одобравање одређује датум завршетка. Уштеда рада и даље може да има вредност, али организација мора засебно да одлучи како ће је употребити.

Питајте програмере да ли им ток рада помаже да разумеју систем и одрже пажњу. Третирајте одговоре као податке о искуству. Не претварајте осећај брзине у проверен проценат побољшања.

Тумачите истраживање унутар његових ограничења

METR је пријавио успоравање у конкретном истраживању искусних програмера отвореног кода спроведеном почетком 2025. године. Истраживање није утврдило ефекат за све програмере или задатке. Ажурирање из фебруара 2026. описало је ефекте избора учесника и проблеме мерења у каснијем експерименту.

Корисна поука односи се на мерење. Верзије алата, избор задатака, захтеви за квалитет и понашање учесника могу да промене резултат. Не користите један историјски проценат као трајно правило за развој уз AI.

Истраживање DORA из 2025. такође усмерава пажњу на организацију која окружује алате. Тиму је потребна делотворна развојна пракса да би способности алата претворио у корисне резултате испоруке.

Направите мало поређење које може да се понови

Користите репрезентативне задатке и исте критеријуме завршетка. Забележите верзије модела и алата. Укључите неуспеле покушаје и рад на прегледу. Упоредите више задатака уместо да изаберете најбољу демонстрацију.

Наведите распон резултата и главна ограничења. Ако промена смањује рад, али повећава број грешака, истражите то пре шире примене. Ако су резултати мешовити, ограничите препоруку на врсте задатака за које постоје корисни докази.

Добро мерење подржава конкретну следећу одлуку. Не мора да доказује да је AI увек добар или лош.