Mål fremskridt, der skaber værdi

Definér resultatet før måletallet

Et AI-værktøj kan producere kode hurtigt. Det nyttige resultat er en ændring, der opfylder et brugerbehov på det krævede kvalitetsniveau. Det er to forskellige målinger.

Genererede linjer, accepterede forslag og agentkørsler beskriver aktivitet. De kan hjælpe dig med at forstå brugen af værktøjet. De dokumenterer ikke, at en tjeneste blev bedre, eller at teamet leverede nyttigt arbejde hurtigere.

Start med ét spørgsmål. For eksempel: »Reducerer denne arbejdsgang den samlede indsats for at gennemføre en lille vedligeholdelsesopgave?« Definér, hvornår opgaven er færdig, før du indsamler resultater. Medtag de nødvendige tests, review og dokumentation.

Tæl hele opgaven med

Overvej en fiktiv ændring af et rapportfilter. Uden AI tager implementeringen 60 minutter og review 10 minutter. Med AI tager implementeringen 30 minutter og review 45 minutter.

Implementeringen er hurtigere. Den målte indsats for disse faser stiger fra 70 til 75 minutter. Ingen af resultaterne omfatter forberedelse, senere rettelser eller fejl efter release. Gør disse begrænsninger tydelige.

Tallene illustrerer en beregning. De er ikke forskningsresultater eller en prognose for dit team. Den øgede reviewtid kan skyldes en større diff, ukendt kode eller et manglende krav. Undersøg årsagen, før du ændrer politikken for værktøjer.

Skeln mellem arbejdsindsats og gennemløbstid

Arbejdsindsats måler den tid, mennesker bruger på arbejdet. Gennemløbstid omfatter ventetid. En agent kan køre kontroller, mens en udvikler løser en anden opgave. Tæl ikke den samme menneskelige arbejdstid to gange. Registrér også, hvor længe ændringen venter på review eller et miljø.

En arbejdsgang kan reducere arbejdsindsatsen uden at reducere leveringstiden. Det kan ske, når en godkendelseskø bestemmer slutdatoen. Den sparede indsats kan stadig have værdi, men organisationen skal træffe en særskilt beslutning om, hvordan den bruges.

Spørg udviklerne, om arbejdsgangen hjælper dem med at forstå systemet og holde fokus. Betragt svarene som data om deres oplevelse. Omsæt ikke en følelse af hastighed til en verificeret procentvis forbedring.

Læs forskning med dens begrænsninger

METR rapporterede lavere hastighed i en konkret undersøgelse fra begyndelsen af 2025 med erfarne open source-udviklere. Undersøgelsen fastslog ikke en effekt for alle udviklere eller opgaver. Opdateringen fra februar 2026 beskrev udvælgelseseffekter og måleproblemer i et senere eksperiment.

Den nyttige lære handler om måling. Værktøjsversioner, valg af opgaver, kvalitetskrav og deltagernes adfærd kan ændre resultatet. Brug ikke én historisk procentsats som en permanent regel for AI-udvikling.

DORAs forskning fra 2025 retter også opmærksomheden mod organisationen omkring værktøjerne. Et team har brug for effektiv udviklingspraksis for at omsætte værktøjernes evner til nyttige leverancer.

Lav en lille sammenligning, der kan gentages

Brug repræsentative opgaver og de samme kriterier for færdiggørelse. Registrér model- og værktøjsversioner. Medtag mislykkede forsøg og indsatsen ved review. Sammenlign flere opgaver frem for at vælge den bedste demonstration.

Rapportér spændet i resultaterne og de vigtigste begrænsninger. Hvis en ændring reducerer indsatsen, men giver flere fejl, skal du undersøge det, før brugen udvides. Hvis resultatet er blandet, skal du begrænse anbefalingen til de opgavetyper, der har brugbar dokumentation.

En god måling støtter en konkret næste beslutning. Den behøver ikke bevise, at AI altid er godt eller dårligt.