Вимірюйте корисний поступ

Визначте результат перед показником

Інструмент ШІ може швидко створювати код. Корисний результат — це зміна, що задовольняє потребу користувача з потрібним рівнем якості. Це різні вимірювання.

Згенеровані рядки, прийняті пропозиції та запуски агента описують діяльність. Вони можуть допомогти зрозуміти використання інструмента. Вони не доводять, що сервіс покращився або команда раніше виконала корисну роботу.

Почніть з одного питання. Наприклад: «Чи зменшує цей робочий процес загальні зусилля, потрібні для завершення невеликої задачі обслуговування?» Визначте завершення перед збиранням результатів. Включіть потрібні тести, перегляд і документацію.

Враховуйте всю задачу

Розгляньмо вигадану зміну фільтра звіту. Без ШІ реалізація займає 60 хвилин, а перегляд — 10 хвилин. Із ШІ реалізація займає 30 хвилин, а перегляд — 45 хвилин.

Реалізація швидша. Виміряні трудовитрати на ці етапи зростають із 70 до 75 хвилин. Жоден результат не враховує підготовку, подальші виправлення чи дефекти після випуску. Не приховуйте цих обмежень.

Ці числа ілюструють розрахунок. Вони не є результатами дослідження чи прогнозом для вашої команди. Збільшення часу перегляду може відображати більший diff, незнайомий код або відсутню вимогу. Дослідіть причину перед зміною політики використання інструментів.

Відокремлюйте трудовитрати від загального часу

Трудовитрати вимірюють час, який люди витрачають на роботу. Загальний час від початку до завершення включає очікування. Агент може виконувати перевірки, поки розробник працює над іншою задачею. Не рахуйте той самий людський час двічі. Також записуйте, скільки часу зміна очікує на перегляд або середовище.

Робочий процес може зменшувати трудовитрати без скорочення часу доставки. Це може статися, коли черга погоджень визначає дату завершення. Заощаджені зусилля все одно можуть мати цінність, але організації потрібне окреме рішення про їх використання.

Запитайте розробників, чи допомагає робочий процес розуміти систему та зберігати зосередженість. Сприймайте ці відповіді як дані про досвід. Не перетворюйте відчуття швидкості на перевірений відсоток покращення.

Читайте дослідження в межах їхніх висновків

METR повідомила про сповільнення в конкретному дослідженні досвідчених розробників відкритого програмного забезпечення на початку 2025 року. Дослідження не встановило ефекту для всіх розробників або задач. Оновлення за лютий 2026 року описало ефекти відбору й проблеми вимірювання в пізнішому експерименті.

Корисний урок стосується вимірювання. Версії інструментів, вибір задач, вимоги до якості та поведінка учасників можуть змінити результат. Не використовуйте один історичний відсоток як постійне правило для розробки із ШІ.

Дослідження DORA за 2025 рік також звертає увагу на організацію навколо інструментів. Команді потрібні ефективні практики розробки, щоб перетворити можливості інструмента на корисні результати доставки.

Проведіть невелике повторюване порівняння

Використовуйте репрезентативні задачі й однакові критерії завершення. Записуйте версії моделі та інструмента. Враховуйте невдалі спроби й зусилля на перегляд. Порівнюйте кілька задач, а не обирайте найкращу демонстрацію.

Повідомляйте діапазон результатів і основні обмеження. Якщо зміна зменшує трудовитрати, але збільшує кількість дефектів, дослідіть це перед розширенням використання. Якщо результат неоднозначний, обмежте рекомендацію типами задач, для яких є корисні докази.

Якісне вимірювання підтримує конкретне наступне рішення. Воно не повинне доводити, що ШІ завжди добрий або завжди поганий.