Đo tiến triển hữu ích

Xác định kết quả trước chỉ số

Công cụ AI có thể tạo mã nhanh. Kết quả hữu ích là thay đổi đáp ứng nhu cầu người dùng ở mức chất lượng yêu cầu. Đây là hai phép đo khác nhau.

Số dòng được sinh, đề xuất được chấp nhận và lượt chạy agent mô tả hoạt động. Chúng có thể giúp hiểu cách dùng công cụ. Chúng không chứng minh dịch vụ đã cải thiện hoặc nhóm bàn giao công việc hữu ích sớm hơn.

Bắt đầu với một câu hỏi. Ví dụ: “Quy trình này có giảm tổng công sức cần để hoàn tất tác vụ bảo trì nhỏ không?” Xác định hoàn tất là gì trước khi thu thập kết quả. Bao gồm test, review và tài liệu bắt buộc.

Tính toàn bộ tác vụ

Xét thay đổi giả định cho bộ lọc báo cáo. Không dùng AI, viết mã mất 60 phút và review mất 10 phút. Dùng AI, viết mã mất 30 phút và review mất 45 phút.

Viết mã nhanh hơn. Công sức đo được cho các giai đoạn này tăng từ 70 lên 75 phút. Cả hai kết quả đều chưa tính chuẩn bị, sửa về sau hoặc lỗi sau phát hành. Giữ rõ các giới hạn đó.

Những con số này minh họa phép tính. Chúng không phải kết quả nghiên cứu hay dự báo cho nhóm của bạn. Review tăng có thể do diff lớn hơn, mã chưa quen hoặc yêu cầu còn thiếu. Điều tra nguyên nhân trước khi thay chính sách công cụ.

Phân biệt công sức với tổng thời gian

Công sức đo thời gian con người dành cho công việc. Tổng thời gian từ đầu đến cuối bao gồm chờ đợi. Agent có thể chạy kiểm tra trong khi lập trình viên làm tác vụ khác. Không tính cùng một khoảng thời gian của con người hai lần. Cũng ghi thời gian thay đổi chờ review hoặc chờ môi trường.

Quy trình có thể giảm công sức mà không giảm thời gian bàn giao. Điều này có thể xảy ra khi hàng đợi phê duyệt quyết định ngày hoàn tất. Công sức tiết kiệm vẫn có thể có giá trị, nhưng tổ chức cần quyết định riêng về cách sử dụng nó.

Hỏi lập trình viên liệu quy trình có giúp họ hiểu hệ thống và duy trì tập trung không. Xem phản hồi là dữ liệu trải nghiệm. Không biến cảm giác nhanh hơn thành tỷ lệ phần trăm cải thiện đã được xác minh.

Đọc nghiên cứu trong giới hạn của nó

METR báo cáo sự chậm lại trong một nghiên cứu cụ thể vào đầu năm 2025 với lập trình viên open-source có kinh nghiệm. Nghiên cứu không xác lập tác động cho mọi lập trình viên hoặc tác vụ. Bản cập nhật tháng Hai năm 2026 mô tả ảnh hưởng của việc lựa chọn đối tượng và các vấn đề đo lường trong một thí nghiệm sau đó.

Bài học hữu ích ở đây là về đo lường. Phiên bản công cụ, lựa chọn tác vụ, yêu cầu chất lượng và hành vi người tham gia có thể thay đổi kết quả. Không dùng một tỷ lệ phần trăm trong quá khứ làm quy tắc cố định cho phát triển với AI.

Nghiên cứu năm 2025 của DORA cũng hướng chú ý đến tổ chức xung quanh công cụ. Nhóm cần thực hành phát triển hiệu quả để chuyển năng lực công cụ thành kết quả bàn giao hữu ích.

So sánh nhỏ và có thể lặp lại

Dùng tác vụ tiêu biểu và cùng tiêu chí hoàn tất. Ghi phiên bản mô hình và công cụ. Tính cả lần thử không thành công và công sức review. So sánh nhiều tác vụ thay vì chọn màn trình diễn tốt nhất.

Báo cáo khoảng kết quả và giới hạn chính. Nếu thay đổi giảm công sức nhưng tăng lỗi, điều tra trước khi mở rộng. Nếu kết quả trái chiều, giới hạn khuyến nghị trong các loại tác vụ có bằng chứng hữu ích.

Phép đo tốt hỗ trợ quyết định tiếp theo cụ thể. Nó không cần chứng minh AI tốt hay xấu trong mọi trường hợp.