Buat threat model untuk alur pengembangan AI

Pilih skenario terbatas

Mulai dari satu alur kerja yang dapat dipahami. Misalnya, agen membaca issue, mengedit repositori, menjalankan pengujian, dan membuka pull request. Sertakan sistem yang memungkinkan tindakan tersebut.

Daftar aset yang penting: kode sumber, informasi pelanggan, kredensial, artefak rilis, dan ketersediaan layanan. Identifikasi penanggung jawabnya. Lalu identifikasi orang dan sistem yang dapat membaca atau mengubah setiap aset.

OWASP merekomendasikan pemodelan sistem, identifikasi ancaman, pemilihan respons, dan validasi hasil. Gunakan metode ini sejak awal dan perbarui saat sistem berubah. Panduan threat modeling.

Gambar batas kepercayaan

Untuk alur fiktif dari issue ke PR, gambar hubungan berikut:

Issue → agen → repositori → runner pengujian → penyimpanan artefak → deployment

Tambahkan penyedia model dan penyimpanan secret. Tandai lokasi konten berasal dari sumber yang kurang tepercaya. Tandai lokasi identitas memperoleh kemampuan baru, seperti beralih dari membaca issue menjadi menulis file repositori.

Diagram aplikasi saja tidak menunjukkan seluruh risiko pengembangan. Database produksi dapat bersifat privat sementara job CI membuka kredensial. Sertakan lingkungan sementara dan akses dukungan ketika memengaruhi skenario.

Tulis jalur kegagalan konkret

Hindari entri seperti “AI mungkin tidak aman.” Tulis pelaku, tindakan, aset terdampak, dan dampaknya. Sertakan kondisi yang diperlukan agar skenario terjadi.

Ini contoh, bukan daftar ancaman lengkap. Data, alat, dan lingkungan operasi Anda menentukan skenario yang relevan.

Pilih respons dengan penanggung jawab

Prioritaskan dampak dan paparan yang masuk akal. Hindari menyajikan skor angka seolah-olah memiliki presisi yang sebenarnya tidak tersedia. Catat ketidakpastian dan bukti yang dapat mengubah prioritas.

Respons dapat menghapus kemampuan berisiko, mengurangi cakupannya, menambahkan kontrol, atau menerima risiko tersisa yang ditentukan. Penerimaan memerlukan penanggung jawab yang berwenang dan alasan. Penerimaan tidak boleh berupa kesimpulan agen yang belum ditinjau.

Ubah respons terpilih menjadi pekerjaan dengan syarat penerimaan yang dapat diamati. “Tingkatkan keamanan agen” sulit diverifikasi. “Job pengujian tidak dapat membaca secret produksi” menentukan batas yang dapat diperiksa.

Tinjau setelah perubahan penting

Konektor, jalur model, lingkungan, atau izin baru dapat mengubah threat model. Tambahkan perubahan tersebut sebagai pemicu peninjauan. Gunakan juga insiden dan evaluasi yang gagal untuk memperbarui asumsi.

Coba latihan peninjauan risiko untuk mengubah data, kewenangan, pengguna, dan kondisi pemulihan suatu skenario. Hasilnya menyarankan pertanyaan. Hasil tersebut tidak menggantikan threat model khusus sistem atau mengizinkan pekerjaan.