Lập threat model cho quy trình phát triển với AI

Chọn kịch bản có giới hạn

Bắt đầu với một quy trình mọi người có thể hiểu. Ví dụ, agent đọc issue, sửa repository, chạy test và mở pull request. Bao gồm các hệ thống cho phép thực hiện những hành động này.

Liệt kê tài sản quan trọng: mã nguồn, thông tin khách hàng, thông tin xác thực, artifact phát hành và tính sẵn sàng dịch vụ. Xác định người phụ trách. Sau đó xác định người và hệ thống có thể đọc hoặc thay đổi từng tài sản.

OWASP khuyến nghị mô hình hóa hệ thống, xác định mối đe dọa, chọn cách ứng phó và xác minh kết quả. Dùng phương pháp sớm và cập nhật khi hệ thống thay đổi. Hướng dẫn threat modeling.

Vẽ ranh giới tin cậy

Với quy trình giả định từ issue đến PR, vẽ các kết nối sau:

Issue → agent → repository → test runner → artifact store → deployment

Thêm nhà cung cấp mô hình và kho secret. Đánh dấu nơi nội dung đến từ nguồn ít đáng tin hơn. Đánh dấu nơi danh tính nhận năng lực mới, như chuyển từ đọc issue sang ghi tệp repository.

Chỉ sơ đồ ứng dụng không thể hiện toàn bộ rủi ro phát triển. Cơ sở dữ liệu production có thể riêng tư trong khi job CI làm lộ thông tin xác thực. Bao gồm môi trường tạm và quyền truy cập hỗ trợ khi chúng ảnh hưởng kịch bản.

Viết đường lỗi cụ thể

Tránh mục như “AI có thể không an toàn.” Viết bên thực hiện, hành động, tài sản bị ảnh hưởng và hậu quả. Bao gồm điều kiện cần để kịch bản xảy ra.

Đây là ví dụ, không phải danh sách mối đe dọa đầy đủ. Dữ liệu, công cụ và môi trường vận hành quyết định kịch bản liên quan.

Chọn cách ứng phó có người phụ trách

Ưu tiên theo hậu quả và mức phơi nhiễm có cơ sở. Tránh trình bày điểm số như độ chính xác mà bạn chưa có. Ghi điều chưa chắc chắn và bằng chứng có thể đổi mức ưu tiên.

Cách ứng phó có thể loại bỏ năng lực rủi ro, thu hẹp phạm vi, thêm kiểm soát hoặc chấp nhận rủi ro còn lại đã xác định. Chấp nhận cần người có thẩm quyền và lý do. Nó không nên là kết luận chưa review của agent.

Chuyển cách ứng phó đã chọn thành công việc với điều kiện nghiệm thu quan sát được. “Cải thiện bảo mật agent” khó xác minh. “Job test không thể đọc secret production” xác định ranh giới có thể kiểm tra.

Review sau thay đổi quan trọng

Connector, tuyến gọi mô hình, môi trường hoặc quyền mới có thể thay threat model. Thêm chúng vào điều kiện kích hoạt review. Cũng dùng sự cố và đánh giá thất bại để cập nhật giả định.

Thử bài tập review rủi ro để thay dữ liệu, thẩm quyền, đối tượng dùng và điều kiện khôi phục của kịch bản. Kết quả gợi ý câu hỏi. Nó không thay thế threat model riêng cho hệ thống hoặc cho phép thực hiện công việc.