Chọn tác vụ AI đầu tiên hữu ích

Chọn tác vụ bạn có thể xác minh

Tác vụ hữu ích đầu tiên nên giúp bạn hiểu công cụ hoạt động thế nào trong môi trường của mình. Nó cũng cần tạo ra kết quả mà bạn có thể kiểm tra. Một sửa đổi nhỏ cho lỗi đã biết thường đáp ứng cả hai điều kiện.

Tránh chọn tác vụ chỉ vì màn trình diễn sẽ trông ấn tượng. Thiết kế lại trên phạm vi rộng có thể tạo nhiều thay đổi dễ thấy nhưng che giấu giả định sai. Tác vụ nhỏ có thể cho biết agent có đọc hướng dẫn, tôn trọng phạm vi và báo cáo chính xác các kiểm tra thất bại hay không.

Bạn không cần chọn tác vụ dễ nhất có thể. Hãy chọn tác vụ mà nhóm nhận ra được kết quả đúng và giải thích được vì sao nó đúng.

So sánh các tác vụ ứng viên

Xét ba yêu cầu giả định trong một ứng dụng báo cáo.

Tác vụ giải thích giúp bạn kiểm tra suy luận và bằng chứng. Regression test thêm một hành động có kiểm soát. Tác vụ kiến trúc có thể hữu ích về sau, nhưng cần bản mô tả và quy trình review chặt chẽ hơn nhiều.

Với bài tập đầu tiên, chọn regression test. Dùng ngày giả định và branch cục bộ. Nêu rõ truy cập production, nâng cấp dependency và refactor không liên quan đều ngoài phạm vi.

Viết điều kiện hoàn tất

“Cải thiện xử lý ngày” để lại quá nhiều cách diễn giải. Dùng điều kiện cụ thể: “Khi đầu vào chứa ngày lịch không hợp lệ, trả về lỗi xác thực dữ liệu. Giữ nguyên đầu ra đã được mô tả cho ngày hợp lệ.”

Thêm ví dụ đầu vào hợp lệ và không hợp lệ. Xác định lệnh test hiện có. Yêu cầu agent kiểm tra hành vi hiện tại trước khi thay đổi tệp. Yêu cầu giải thích ngắn về lỗi và bằng chứng sau thay đổi.

Phân biệt kết quả tác vụ với hoạt động. “Agent đã viết một test” mô tả hoạt động. “Test phát hiện lỗi đã biết” mô tả bằng chứng. Test đạt với cả mã đúng lẫn mã sai không chứng minh được khả năng bảo vệ dự kiến.

Quan sát quá trình làm việc

Trong bài tập, ghi lại chỗ agent cần thêm ngữ cảnh. Kiểm tra agent có đọc hướng dẫn liên quan của repository không. Chú ý việc thay đổi tệp ngoài phạm vi hoặc lặp lại cách làm thất bại mà không có bằng chứng mới.

Không sửa ngay mọi lựa chọn nhỏ. Để agent hoàn tất công việc được phép và có thể hoàn tác để bạn đánh giá kết quả. Can thiệp khi hành động tiếp theo vượt ranh giới hoặc khi việc tiếp tục phụ thuộc vào yêu cầu chưa được giải quyết.

Khi hoàn tất, review diff và chạy các kiểm tra liên quan. Ghi cả thời gian agent làm việc lẫn thời gian bạn chuẩn bị và review. Những quan sát này giúp chọn tác vụ tiếp theo và cải thiện hướng dẫn làm việc.

Mở rộng từng ranh giới một

Nếu bài tập thành công, tăng một khía cạnh về độ phức tạp. Bạn có thể chuyển từ một hàm sang hai module liên quan. Bạn có thể thêm một tích hợp đã được mô tả. Giữ quyền và yêu cầu xác minh rõ ràng.

Nếu bài tập thất bại, xác định nguyên nhân trước khi mở rộng phạm vi. Thiếu ngữ cảnh, yêu cầu không rõ, môi trường test không dùng được và giới hạn mô hình cần các cách khắc phục khác nhau. Tăng quyền tự chủ không giải quyết cả bốn vấn đề.

Nếu prototype tiếp tục được sử dụng, phân công người phụ trách bảo trì. Thông tin lỗ hổng mới có thể đòi hỏi hành động dù mã không thay đổi. Xem quản lý lỗ hổng liên tục.