Misura i progressi utili

Definisci il risultato prima della metrica

Uno strumento AI può produrre codice rapidamente. Il risultato utile è una modifica che soddisfa un’esigenza dell’utente con la qualità richiesta. Sono misure diverse.

Righe generate, suggerimenti accettati ed esecuzioni degli agenti descrivono l’attività. Possono aiutarti a capire l’uso degli strumenti. Non dimostrano che un servizio sia migliorato o che il team abbia consegnato prima un lavoro utile.

Parti da una domanda. Per esempio: «Questo flusso riduce l’impegno totale necessario per completare un piccolo compito di manutenzione?» Definisci il completamento prima di raccogliere risultati. Includi test, revisione e documentazione richiesti.

Conta l’intero compito

Considera una modifica fittizia a un filtro dei report. Senza AI, l’implementazione richiede 60 minuti e la revisione 10 minuti. Con l’AI, l’implementazione richiede 30 minuti e la revisione 45 minuti.

L’implementazione è più veloce. L’impegno misurato per queste fasi passa da 70 a 75 minuti. Nessuno dei due risultati comprende preparazione, correzioni successive o difetti dopo il rilascio. Rendi espliciti questi limiti.

Queste cifre illustrano un calcolo. Non sono risultati di ricerca né una previsione per il tuo team. L’aumento della revisione potrebbe dipendere da un diff più ampio, codice poco familiare o un requisito mancante. Indaga sulla causa prima di cambiare la policy sugli strumenti.

Distingui l’impegno dal tempo trascorso

L’impegno misura il tempo dedicato dalle persone al lavoro. Il tempo trascorso comprende le attese. Un agente può eseguire verifiche mentre uno sviluppatore svolge un altro compito. Non contare due volte lo stesso tempo umano. Registra anche quanto attende la modifica per una revisione o un ambiente.

Un flusso può ridurre l’impegno senza ridurre il tempo di consegna. Può accadere quando una coda di approvazioni determina la data di completamento. L’impegno risparmiato può comunque avere valore, ma l’organizzazione deve decidere separatamente come usarlo.

Chiedi agli sviluppatori se il flusso li aiuta a capire il sistema e mantenere la concentrazione. Considera queste risposte come dati sull’esperienza. Non trasformare una sensazione di velocità in una percentuale di miglioramento verificata.

Leggi la ricerca entro i suoi limiti

METR ha rilevato un rallentamento in uno studio specifico dell’inizio del 2025 su sviluppatori open source esperti. Lo studio non ha stabilito un effetto per tutti gli sviluppatori o compiti. L’aggiornamento di febbraio 2026 ha descritto effetti di selezione e problemi di misurazione in un esperimento successivo.

La lezione utile riguarda la misurazione. Versioni degli strumenti, selezione dei compiti, requisiti di qualità e comportamento dei partecipanti possono cambiare il risultato. Non usare una percentuale storica come regola permanente per lo sviluppo con l’AI.

Anche la ricerca DORA del 2025 richiama l’attenzione sull’organizzazione attorno agli strumenti. Un team ha bisogno di pratiche di sviluppo efficaci per trasformare le capacità degli strumenti in risultati utili di consegna.

Fai un confronto piccolo e ripetibile

Usa compiti rappresentativi e gli stessi criteri di completamento. Registra le versioni del modello e degli strumenti. Includi i tentativi falliti e il lavoro di revisione. Confronta più compiti, invece di scegliere la dimostrazione migliore.

Riporta l’intervallo dei risultati e i limiti principali. Se una modifica riduce l’impegno ma aumenta i difetti, indaga prima di estenderla. Se il risultato è misto, limita la raccomandazione ai tipi di compito per cui esistono prove utili.

Una buona misurazione sostiene una decisione successiva precisa. Non deve dimostrare che l’AI sia sempre positiva o negativa.