Mittaa hyödyllistä edistymistä

Määrittele tulos ennen mittaria

AI-työkalu voi tuottaa koodia nopeasti. Hyödyllinen lopputulos on muutos, joka täyttää käyttäjän tarpeen sovitulla laatutasolla. Kyse on eri mittareista.

Generoidut koodirivit, hyväksytyt ehdotukset ja agenttiajot kuvaavat tekemistä. Ne auttavat ymmärtämään työkalun käyttöä. Ne eivät osoita, että palvelu parani tai hyödyllinen muutos valmistui aiemmin.

Aloita yhdestä kysymyksestä: ”Vähentääkö tämä työnkulku pienen ylläpitotehtävän kokonaistyömäärää?” Sovi valmistumisen ehdot ennen mittaamista. Ota mukaan tarvittavat testit, tarkastus ja dokumentaatio.

Laske koko tehtävä

Kuvitellaan raportin suodattimen muutos. Ilman AI:ta toteutus vie 60 minuuttia ja tarkastus 10 minuuttia. AI:n kanssa toteutus vie 30 minuuttia ja tarkastus 45 minuuttia.

Toteutus nopeutuu. Näiden vaiheiden mitattu kokonaistyö kasvaa 70 minuutista 75 minuuttiin. Kummassakaan luvussa eivät vielä ole valmistelu, myöhemmät korjaukset tai julkaisun jälkeen löytyneet virheet. Pidä rajaus näkyvissä.

Luvut havainnollistavat laskentaa. Ne eivät ole tutkimustulos tai ennuste tiimillesi. Tarkastusta voivat hidastaa laaja diff, vieras koodi tai puuttuva vaatimus. Selvitä syy ennen työkalukäytännön muuttamista.

Erota työmäärä läpimenoajasta

Työmäärä kuvaa ihmisten käyttämää aikaa. Läpimenoaikaan kuuluu myös odotus. Agentti voi ajaa tarkistuksia samalla, kun kehittäjä tekee toista tehtävää. Älä laske samaa ihmisen aikaa kahdesti. Kirjaa myös, kuinka kauan muutos odottaa tarkastusta tai ympäristöä.

Työnkulku voi vähentää työmäärää lyhentämättä läpimenoaikaa. Näin käy esimerkiksi silloin, kun hyväksyntäjono määrää valmistumisen. Vapautuneella ajalla voi silti olla arvoa. Organisaation pitää päättää, mihin se käytetään.

Kysy kehittäjiltä myös, auttaako työtapa ymmärtämään järjestelmää ja keskittymään. Käsittele vastaukset kokemustietona. Koettu nopeus ei sellaisenaan ole todennettu prosentuaalinen parannus.

Lue tutkimusta sen rajojen sisällä

METR raportoi hidastumista tietyssä vuoden 2025 alkupuolen tutkimuksessa, jossa kokeneet kehittäjät työskentelivät avoimen lähdekoodin projekteissaan. Tulos ei koskenut kaikkia kehittäjiä tai tehtäviä. Helmikuun 2026 päivityksessä METR kuvasi myöhemmän tutkimuksen valikoitumis- ja mittausongelmia.

Hyödyllinen oppi liittyy mittaamiseen. Työkalujen versiot, tehtävien valinta, laatuvaatimukset ja osallistujien toiminta vaikuttavat tuloksiin. Yksi historiallinen prosenttiluku ei ole pysyvä sääntö AI-kehitykselle.

Myös DORAn vuoden 2025 tutkimus suuntaa huomion työkalujen ympärillä toimivaan organisaatioon. Kehityskäytännöt vaikuttavat siihen, muuttuuko työkalun kyvykkyys hyödylliseksi toimitukseksi.

Tee vertailusta toistettava

Valitse edustavia tehtäviä ja käytä samoja valmistumisen ehtoja. Kirjaa malli- ja työkaluversiot. Ota epäonnistuneet yritykset ja tarkastusaika mukaan. Vertaa useita tehtäviä yhden onnistuneen demon sijaan.

Raportoi vaihtelu ja tärkeimmät rajoitukset. Jos työmäärä vähenee mutta virheet lisääntyvät, selvitä syy ennen laajentamista. Jos tulokset vaihtelevat, rajaa suositus tehtävätyyppeihin, joista on näyttöä.

Hyvä mittaus auttaa seuraavassa päätöksessä. Sen ei tarvitse todistaa AI:ta yleisesti hyväksi tai huonoksi.