Mät användbara framsteg

Definiera resultatet före måttet

Ett AI-verktyg kan producera kod snabbt. Det användbara resultatet är en ändring som möter ett användarbehov på nödvändig kvalitetsnivå. Det är olika mätningar.

Genererade rader, accepterade förslag och agentkörningar beskriver aktivitet. De kan hjälpa dig förstå verktygsanvändningen. De visar inte att en tjänst förbättrades eller att teamet levererade användbart arbete tidigare.

Börja med en fråga. Till exempel: ”Minskar arbetsflödet den totala insats som krävs för en liten underhållsuppgift?” Definiera färdigt innan du samlar resultat. Ta med nödvändiga tester, granskning och dokumentation.

Räkna hela uppgiften

Tänk dig en fiktiv ändring av ett rapportfilter. Utan AI tar implementationen 60 minuter och granskningen 10 minuter. Med AI tar implementationen 30 minuter och granskningen 45 minuter.

Implementationen går snabbare. Den uppmätta insatsen för faserna ökar från 70 till 75 minuter. Inget resultat omfattar förberedelse, senare rättningar eller fel efter release. Håll begränsningarna synliga.

Siffrorna illustrerar en beräkning. De är inte forskningsresultat eller en prognos för ditt team. Ökad granskning kan bero på en större diff, obekant kod eller ett saknat krav. Undersök orsaken innan du ändrar verktygspolicyn.

Skilj arbetsinsats från förfluten tid

Arbetsinsats mäter tiden människor lägger på arbete. Förfluten tid omfattar väntan. En agent kan köra kontroller medan en utvecklare gör något annat. Räkna inte samma mänskliga tid två gånger. Anteckna också hur länge ändringen väntar på granskning eller en miljö.

Ett arbetsflöde kan minska arbetsinsatsen utan att korta leveranstiden. Det kan ske när en godkännandekö bestämmer slutdatumet. Den sparade insatsen kan ändå ha värde, men organisationen behöver besluta separat hur den ska användas.

Fråga utvecklare om arbetsflödet hjälper dem förstå systemet och behålla fokus. Behandla svaren som erfarenhetsdata. Omvandla inte en känsla av snabbhet till en verifierad procentuell förbättring.

Läs forskning inom dess begränsningar

METR rapporterade en försämring av hastigheten i en specifik studie från början av 2025 med erfarna utvecklare av öppen källkod. Studien fastställde ingen effekt för alla utvecklare eller uppgifter. Uppdateringen i februari 2026 beskrev urvalseffekter och mätproblem i ett senare experiment.

Den användbara lärdomen gäller mätning. Verktygsversioner, uppgiftsurval, kvalitetskrav och deltagarnas beteende kan förändra resultatet. Använd inte en historisk procentsats som permanent regel för AI-utveckling.

DORA:s forskning från 2025 riktar också uppmärksamheten mot organisationen runt verktygen. Ett team behöver effektiva utvecklingsmetoder för att omvandla verktygsförmåga till användbara leveransresultat.

Gör en liten, upprepningsbar jämförelse

Använd representativa uppgifter och samma kriterier för färdigt. Anteckna modell- och verktygsversioner. Ta med misslyckade försök och granskningsinsats. Jämför flera uppgifter i stället för att välja den bästa demonstrationen.

Rapportera intervallet och de viktigaste begränsningarna. Om en ändring minskar insatsen men ökar felen ska du undersöka innan du utökar användningen. Om resultatet är blandat ska du begränsa rekommendationen till uppgiftstyper med användbart underlag.

En bra mätning stöder ett konkret nästa beslut. Den behöver inte bevisa att AI är bra eller dåligt i alla situationer.