Mesureu el progrés útil

Definiu el resultat abans de la mètrica

Una eina d’IA pot produir codi ràpidament. El resultat útil és un canvi que satisfà una necessitat de l’usuari amb el nivell de qualitat requerit. Són mesures diferents.

Les línies generades, els suggeriments acceptats i les execucions d’agents descriuen activitat. Poden ajudar a entendre l’ús de les eines. No acrediten que un servei hagi millorat ni que l’equip hagi lliurat feina útil abans.

Comenceu amb una pregunta. Per exemple: «Aquest flux de treball redueix l’esforç total necessari per completar una tasca petita de manteniment?». Definiu què vol dir completar-la abans de recollir resultats. Incloeu les proves, la revisió i la documentació requerides.

Compteu tota la tasca

Considereu un canvi fictici al filtre d’un informe. Sense IA, la implementació dura 60 minuts i la revisió, 10 minuts. Amb IA, la implementació dura 30 minuts i la revisió, 45 minuts.

La implementació és més ràpida. L’esforç mesurat d’aquestes fases puja de 70 a 75 minuts. Cap dels dos resultats no inclou la preparació, les correccions posteriors ni els defectes després de la publicació. Manteniu visibles aquests límits.

Aquestes xifres il·lustren un càlcul. No són resultats de recerca ni una previsió per al vostre equip. L’augment de la revisió podria reflectir una comparació de canvis més extensa, codi desconegut o una exigència no especificada. Investigueu-ne la causa abans de canviar la política d’eines.

Separeu l’esforç del temps transcorregut

L’esforç mesura el temps que les persones dediquen a la feina. El temps transcorregut inclou les esperes. Un agent pot executar comprovacions mentre un desenvolupador fa una altra tasca. No compteu el mateix temps humà dues vegades. Registreu també quant de temps espera el canvi per una revisió o un entorn.

Un flux de treball pot reduir l’esforç sense reduir el temps de lliurament. Això pot passar quan una cua d’aprovacions determina la data d’acabament. L’esforç estalviat encara pot tenir valor, però l’organització ha de decidir per separat com utilitzar-lo.

Pregunteu als desenvolupadors si el flux de treball els ajuda a entendre el sistema i mantenir la concentració. Tracteu les respostes com a dades d’experiència. No convertiu una sensació de rapidesa en un percentatge de millora verificat.

Llegiu la recerca dins dels seus límits

METR va observar una desacceleració en un estudi concret de principis de 2025 amb desenvolupadors experimentats de codi obert. L’estudi no va establir un efecte per a tots els desenvolupadors o tasques. L’actualització de febrer de 2026 va descriure efectes de selecció i problemes de mesura en un experiment posterior.

La lliçó útil tracta de la mesura. Les versions de les eines, la selecció de tasques, els requisits de qualitat i el comportament dels participants poden canviar el resultat. No utilitzeu un únic percentatge històric com a regla permanent del desenvolupament amb IA.

La recerca de DORA de 2025 també posa el focus en l’organització que envolta les eines. Un equip necessita pràctiques de desenvolupament eficaces per convertir la capacitat de les eines en resultats útils de lliurament.

Feu una comparació petita i repetible

Utilitzeu tasques representatives i els mateixos criteris d’acabament. Registreu les versions del model i de les eines. Incloeu els intents fallits i l’esforç de revisió. Compareu diverses tasques en lloc de triar la millor demostració.

Informeu de l’interval de resultats i de les limitacions principals. Si un canvi redueix l’esforç però augmenta els defectes, investigueu-ho abans d’ampliar-ne l’ús. Si el resultat és desigual, limiteu la recomanació als tipus de tasca amb evidències útils.

Una bona mesura dona suport a una decisió concreta sobre el pas següent. No ha de demostrar que la IA sigui universalment bona o dolenta.