Ukur kemajuan yang berguna

Tentukan hasil sebelum metrik

Alat AI dapat menghasilkan kode dengan cepat. Hasil yang berguna adalah perubahan yang memenuhi kebutuhan pengguna pada tingkat kualitas yang diperlukan. Keduanya merupakan pengukuran berbeda.

Baris kode yang dihasilkan, saran yang diterima, dan eksekusi agen menjelaskan aktivitas. Ukuran tersebut dapat membantu memahami penggunaan alat. Ukuran itu tidak membuktikan bahwa layanan membaik atau tim menyelesaikan pekerjaan berguna lebih cepat.

Mulai dari satu pertanyaan. Misalnya: “Apakah alur kerja ini mengurangi total upaya untuk menyelesaikan tugas pemeliharaan kecil?” Tentukan arti selesai sebelum mengumpulkan hasil. Sertakan pengujian, peninjauan, dan dokumentasi yang diperlukan.

Hitung seluruh tugas

Pertimbangkan perubahan fiktif pada filter laporan. Tanpa AI, implementasi memerlukan 60 menit dan peninjauan 10 menit. Dengan AI, implementasi memerlukan 30 menit dan peninjauan 45 menit.

Implementasi lebih cepat. Upaya terukur untuk tahap ini meningkat dari 70 menjadi 75 menit. Kedua hasil tidak mencakup persiapan, perbaikan berikutnya, atau cacat setelah rilis. Tampilkan keterbatasan tersebut.

Angka ini menggambarkan perhitungan. Angka tersebut bukan hasil riset atau perkiraan untuk tim Anda. Kenaikan waktu peninjauan dapat mencerminkan diff yang lebih besar, kode yang belum dikenal, atau persyaratan yang belum terpenuhi. Selidiki penyebab sebelum mengubah kebijakan alat.

Pisahkan upaya dari waktu keseluruhan

Upaya mengukur waktu yang dihabiskan orang untuk bekerja. Waktu keseluruhan mencakup waktu tunggu. Agen dapat menjalankan pemeriksaan sementara pengembang mengerjakan tugas lain. Jangan menghitung waktu manusia yang sama dua kali. Catat juga lama perubahan menunggu peninjauan atau lingkungan.

Alur kerja dapat mengurangi upaya tanpa mempercepat waktu pengiriman. Ini dapat terjadi ketika antrean persetujuan menentukan tanggal penyelesaian. Upaya yang dihemat mungkin tetap bernilai, tetapi organisasi memerlukan keputusan terpisah tentang penggunaannya.

Tanyakan kepada pengembang apakah alur kerja membantu mereka memahami sistem dan menjaga fokus. Perlakukan respons sebagai data pengalaman. Jangan mengubah perasaan bekerja lebih cepat menjadi persentase peningkatan yang terverifikasi.

Baca riset sesuai keterbatasannya

METR melaporkan perlambatan dalam studi tertentu pada awal 2025 yang melibatkan pengembang open source berpengalaman. Studi tersebut tidak menetapkan dampak untuk semua pengembang atau tugas. Pembaruan Februari 2026 menjelaskan pengaruh seleksi peserta dan masalah pengukuran dalam eksperimen berikutnya.

Pelajaran yang berguna berkaitan dengan pengukuran. Versi alat, pemilihan tugas, persyaratan kualitas, dan perilaku peserta dapat mengubah hasil. Jangan gunakan satu persentase historis sebagai aturan permanen untuk pengembangan AI.

Riset DORA tahun 2025 juga mengarahkan perhatian pada organisasi yang mendukung alat. Tim memerlukan praktik pengembangan yang efektif untuk mengubah kemampuan alat menjadi hasil pengiriman yang berguna.

Buat perbandingan kecil yang dapat diulang

Gunakan tugas yang mewakili pekerjaan nyata dan kriteria penyelesaian yang sama. Catat versi model dan alat. Sertakan percobaan yang gagal dan upaya peninjauan. Bandingkan beberapa tugas alih-alih memilih demonstrasi terbaik.

Laporkan rentang hasil dan keterbatasan utama. Jika perubahan mengurangi upaya tetapi menambah cacat, selidiki sebelum memperluas penggunaannya. Jika hasil beragam, batasi rekomendasi pada jenis tugas yang memiliki bukti berguna.

Pengukuran yang baik mendukung keputusan berikutnya yang spesifik. Pengukuran tidak perlu membuktikan bahwa AI selalu baik atau buruk.