Měřte užitečný pokrok

Před metrikou určete výsledek

Nástroj AI dokáže rychle vytvořit kód. Užitečným výsledkem je změna, která splňuje potřebu uživatele při požadované kvalitě. Jde o odlišná měření.

Vygenerované řádky, přijaté návrhy a spuštění agentů popisují činnost. Mohou pomoci pochopit používání nástroje. Neprokazují, že se služba zlepšila nebo že tým dodal užitečnou práci dříve.

Začněte jednou otázkou. Například: „Snižuje tento postup celkové úsilí potřebné k dokončení malého úkolu údržby?“ Než začnete sbírat výsledky, definujte dokončení. Zahrňte potřebné testy, kontrolu a dokumentaci.

Počítejte celý úkol

Představte si fiktivní změnu filtru sestavy. Bez AI trvá implementace 60 minut a kontrola 10 minut. S AI trvá implementace 30 minut a kontrola 45 minut.

Implementace je rychlejší. Naměřené úsilí pro tyto fáze vzroste ze 70 na 75 minut. Ani jeden výsledek nezahrnuje přípravu, pozdější opravy nebo chyby po vydání. Tato omezení uvádějte zřetelně.

Tato čísla ilustrují výpočet. Nejde o výsledky výzkumu ani předpověď pro váš tým. Delší kontrola může odrážet rozsáhlejší diff, neznámý kód nebo chybějící požadavek. Před změnou pravidel používání nástroje prozkoumejte příčinu.

Oddělte úsilí od uplynulého času

Úsilí měří čas, který lidé věnují práci. Uplynulý čas zahrnuje i čekání. Agent může spouštět kontroly, zatímco vývojář pracuje na jiném úkolu. Stejný lidský čas nezapočítávejte dvakrát. Zaznamenejte také, jak dlouho změna čeká na kontrolu nebo prostředí.

Pracovní postup může snížit úsilí, aniž zkrátí dobu dodání. To nastane například tehdy, když termín dokončení určuje fronta schvalování. Ušetřené úsilí může být stále hodnotné, ale organizace musí samostatně rozhodnout, jak je využije.

Ptejte se vývojářů, zda jim postup pomáhá chápat systém a soustředit se. Odpovědi berte jako údaje o zkušenosti. Pocit rychlosti nepřevádějte na ověřené procento zlepšení.

Čtěte výzkum s ohledem na jeho omezení

METR ve specifické studii zkušených vývojářů open-source softwaru z počátku roku 2025 zaznamenal zpomalení. Studie neprokázala účinek pro všechny vývojáře a úkoly. Aktualizace z února 2026 popsala vliv výběru účastníků a problémy měření v pozdějším experimentu.

Užitečné poučení se týká měření. Verze nástrojů, výběr úkolů, požadavky na kvalitu a chování účastníků mohou výsledek změnit. Jedno historické procento nepoužívejte jako trvalé pravidlo pro vývoj s AI.

Výzkum DORA z roku 2025 také obrací pozornost k organizaci, ve které se nástroje používají. Tým potřebuje účinné vývojové postupy, aby schopnosti nástroje proměnil v užitečné výsledky dodávky.

Proveďte malé, opakovatelné porovnání

Použijte reprezentativní úkoly a stejná kritéria dokončení. Zaznamenejte verze modelu a nástrojů. Zahrňte neúspěšné pokusy a úsilí na kontrolu. Porovnejte několik úkolů, místo abyste vybrali nejlepší ukázku.

Uveďte rozpětí výsledků a hlavní omezení. Pokud změna snižuje úsilí, ale zvyšuje počet chyb, před rozšířením ji prozkoumejte. Pokud jsou výsledky smíšené, omezte doporučení na typy úkolů s užitečnými důkazy.

Dobré měření podporuje konkrétní další rozhodnutí. Nemusí prokázat, že AI je vždy dobrá nebo vždy špatná.