Meça o progresso útil

Defina o resultado antes da métrica

Uma ferramenta de IA pode produzir código rapidamente. O resultado útil é uma alteração que responde a uma necessidade do utilizador com a qualidade exigida. São medidas diferentes.

As linhas geradas, as sugestões aceites e as execuções de agentes descrevem atividade. Podem ajudar a compreender a utilização da ferramenta. Não provam que um serviço melhorou ou que a equipa entregou trabalho útil mais cedo.

Comece por uma pergunta. Por exemplo: «Este processo reduz o esforço total necessário para concluir uma pequena tarefa de manutenção?» Defina a conclusão antes de recolher resultados. Inclua os testes, a revisão e a documentação exigidos.

Conte a tarefa toda

Considere uma alteração fictícia a um filtro de relatórios. Sem IA, a implementação demora 60 minutos e a revisão 10 minutos. Com IA, a implementação demora 30 minutos e a revisão 45 minutos.

A implementação é mais rápida. O esforço medido nestas fases aumenta de 70 para 75 minutos. Nenhum dos resultados inclui preparação, correções posteriores ou defeitos após o lançamento. Mantenha estes limites visíveis.

Estes valores ilustram um cálculo. Não são resultados de investigação nem uma previsão para a sua equipa. O aumento da revisão pode resultar de um diff maior, de código desconhecido ou de um requisito em falta. Investigue a causa antes de alterar a política de ferramentas.

Separe o esforço do tempo decorrido

O esforço mede o tempo que as pessoas dedicam ao trabalho. O tempo decorrido inclui esperas. Um agente pode executar verificações enquanto um programador faz outra tarefa. Não conte duas vezes o mesmo tempo humano. Registe também quanto tempo a alteração espera por revisão ou por um ambiente.

Um processo pode reduzir o esforço sem reduzir o prazo de entrega. Isso acontece quando uma fila de aprovação determina a data de conclusão. O esforço poupado pode continuar a ter valor, mas a organização precisa de decidir separadamente como o usar.

Pergunte aos programadores se o processo os ajuda a compreender o sistema e a manter a concentração. Trate as respostas como dados sobre a experiência de utilização. Não transforme uma sensação de rapidez numa percentagem de melhoria verificada.

Leia a investigação dentro dos seus limites

A METR registou uma desaceleração num estudo específico do início de 2025 com programadores experientes de open source. O estudo não estabeleceu um efeito para todos os programadores ou tarefas. A atualização de fevereiro de 2026 descreveu efeitos de seleção e problemas de medição numa experiência posterior.

A lição útil diz respeito à medição. As versões das ferramentas, a seleção das tarefas, as exigências de qualidade e o comportamento dos participantes podem alterar o resultado. Não use uma percentagem histórica como regra permanente para o desenvolvimento com IA.

A investigação da DORA de 2025 chama também a atenção para a organização em torno das ferramentas. Uma equipa precisa de práticas de desenvolvimento eficazes para transformar a capacidade das ferramentas em resultados úteis de entrega.

Faça uma comparação pequena e repetível

Use tarefas representativas e os mesmos critérios de conclusão. Registe as versões dos modelos e das ferramentas. Inclua tentativas falhadas e o esforço de revisão. Compare várias tarefas em vez de escolher a melhor demonstração.

Apresente o intervalo de resultados e as principais limitações. Se uma alteração reduzir o esforço mas aumentar os defeitos, investigue antes de alargar a utilização. Se os resultados forem mistos, limite a recomendação aos tipos de tarefa para os quais existem provas úteis.

Uma boa medição apoia uma decisão concreta sobre o passo seguinte. Não precisa de provar que a IA é universalmente boa ou má.