Merajte užitočný pokrok

Najprv definujte výsledok, potom metriku

Nástroj AI dokáže rýchlo vytvárať kód. Užitočným výsledkom je zmena, ktorá spĺňa potrebu používateľa pri požadovanej kvalite. Ide o odlišné merania.

Vygenerované riadky, prijaté návrhy a spustenia agenta opisujú aktivitu. Môžu vám pomôcť pochopiť používanie nástroja. Nepreukazujú, že sa služba zlepšila alebo že tím dodal užitočnú prácu skôr.

Začnite jednou otázkou. Napríklad: „Znižuje tento pracovný postup celkovú prácnosť potrebnú na dokončenie malej úlohy údržby?“ Definujte dokončenie pred zberom výsledkov. Zahrňte potrebné testy, kontrolu a dokumentáciu.

Započítajte celú úlohu

Uvažujme o fiktívnej zmene filtra reportu. Bez AI trvá implementácia 60 minút a kontrola 10 minút. S AI trvá implementácia 30 minút a kontrola 45 minút.

Implementácia je rýchlejšia. Nameraná prácnosť týchto fáz rastie zo 70 na 75 minút. Ani jeden výsledok nezahŕňa prípravu, neskoršie opravy ani chyby po vydaní. Tieto obmedzenia uvádzajte zreteľne.

Tieto čísla ilustrujú výpočet. Nie sú výsledkami výskumu ani predpoveďou pre váš tím. Nárast kontroly môže súvisieť s väčším diffom, neznámym kódom alebo chýbajúcou požiadavkou. Pred zmenou pravidiel používania nástroja preskúmajte príčinu.

Oddeľte prácnosť od uplynutého času

Prácnosť meria čas, ktorý ľudia venujú práci. Uplynutý čas zahŕňa aj čakanie. Agent môže vykonávať kontroly, kým vývojár pracuje na inej úlohe. Nezapočítajte rovnaký ľudský čas dvakrát. Zaznamenajte aj to, ako dlho zmena čaká na kontrolu alebo prostredie.

Pracovný postup môže znížiť prácnosť bez skrátenia času dodania. Stáva sa to, keď dátum dokončenia určuje rad žiadostí čakajúcich na schválenie. Ušetrená práca môže mať hodnotu, ale organizácia musí samostatne rozhodnúť, ako ju využije.

Pýtajte sa vývojárov, či im postup pomáha rozumieť systému a sústrediť sa. Tieto odpovede považujte za údaje o skúsenostiach. Pocit rýchlosti nepremieňajte na overené percentuálne zlepšenie.

Čítajte výskum s ohľadom na jeho obmedzenia

METR zaznamenal spomalenie v konkrétnej štúdii skúsených open-source vývojárov zo začiatku roka 2025. Štúdia nepreukázala účinok pre všetkých vývojárov ani úlohy. Aktualizácia z februára 2026 opísala vplyvy výberu účastníkov a problémy merania v neskoršom experimente.

Užitočné poučenie sa týka merania. Verzie nástrojov, výber úloh, požiadavky na kvalitu a správanie účastníkov môžu zmeniť výsledok. Jedno historické percento nepoužívajte ako trvalé pravidlo vývoja s AI.

Výskum DORA z roku 2025 tiež upriamuje pozornosť na organizáciu okolo nástrojov. Tím potrebuje účinné vývojové postupy, aby schopnosti nástroja premenil na užitočné výsledky dodávania.

Urobte malé, opakovateľné porovnanie

Použite reprezentatívne úlohy a rovnaké kritériá dokončenia. Zaznamenajte verzie modelu a nástrojov. Zahrňte neúspešné pokusy aj čas na kontrolu. Porovnajte viacero úloh namiesto výberu najlepšej ukážky.

Uveďte rozsah výsledkov a hlavné obmedzenia. Ak zmena znižuje prácnosť, ale zvyšuje počet chýb, pred rozšírením ju preskúmajte. Ak sú výsledky zmiešané, obmedzte odporúčanie na typy úloh s užitočnými dôkazmi.

Dobré meranie podporuje konkrétne ďalšie rozhodnutie. Nemusí dokazovať, že AI je všeobecne dobrá alebo zlá.