Bir yapay zekâ geliştirme iş akışı için tehdit modeli oluşturun

Sınırları belirli bir senaryo seçin

İnsanların anlayabileceği tek bir iş akışıyla başlayın. Örneğin bir ajan bir issue kaydını okur, kod deposunu düzenler, testleri çalıştırır ve bir pull request açar. Bu işlemleri mümkün kılan sistemleri de dahil edin.

Önemli varlıkları listeleyin: kaynak kodu, müşteri bilgileri, erişim bilgileri, yayın artefaktları ve hizmet kullanılabilirliği. Bunların sorumlularını belirleyin. Ardından her varlığı okuyabilen veya değiştirebilen kişi ve sistemleri belirleyin.

OWASP; sistemin modellenmesini, tehditlerin belirlenmesini, yanıtların seçilmesini ve sonucun doğrulanmasını önerir. Yöntemi erken kullanın ve sistem değiştikçe güncelleyin. Tehdit modelleme rehberi.

Güven sınırlarını çizin

Kurgusal issue kaydından PR’a uzanan iş akışı için şu bağlantıları çizin:

Issue → agent → repository → test runner → artifact store → deployment

Model sağlayıcısını ve gizli bilgi deposunu ekleyin. İçeriğin daha az güvenilen bir kaynaktan geldiği yerleri işaretleyin. Bir kimliğin yeni bir yetenek kazandığı yerleri de işaretleyin. Örneğin issue okumaktan kod deposu dosyalarına yazmaya geçişi gösterin.

Uygulama diyagramı tek başına geliştirme riskinin tamamını göstermez. Üretim veri tabanı özel erişimle sınırlandırılmış olsa da bir CI işi erişim bilgisini açığa çıkarabilir. Senaryoyu etkilediklerinde geçici ortamları ve destek erişimini de dahil edin.

Somut bir hata yolu yazın

“Yapay zekâ güvensiz olabilir” gibi kayıtlardan kaçının. Bir aktör, eylem, etkilenen varlık ve sonuç yazın. Senaryonun gerçekleşmesi için gereken koşulları da ekleyin.

Bunlar örnektir; eksiksiz bir tehdit listesi değildir. İlgili senaryoları verileriniz, araçlarınız ve işletim ortamınız belirler.

Sorumlusu belirli bir yanıt seçin

Sonuçlara ve gerçekçi maruziyete göre öncelik verin. Sayısal bir puanı, sahip olmadığınız bir kesinlik gibi sunmayın. Belirsizliği ve önceliği değiştirebilecek kanıtı kaydedin.

Bir yanıt riskli yeteneği kaldırabilir, kapsamını daraltabilir, kontrol ekleyebilir veya tanımlı bir artık riski kabul edebilir. Kabul için yetkili bir sorumlu ve gerekçe gerekir. Bu, bir ajanın incelenmemiş sonucu olmamalıdır.

Seçilen yanıtı, gözlenebilir bir kabul koşulu olan işe dönüştürün. “Ajan güvenliğini iyileştirin” ifadesini doğrulamak zordur. “Test işi üretim gizli bilgisini okuyamaz” ifadesi ise kontrol edilebilen bir sınır tanımlar.

Önemli değişikliklerden sonra inceleyin

Yeni bir bağlayıcı, model yönlendirmesi, ortam veya izin tehdit modelini değiştirebilir. Bunları incelemeyi tetikleyen durumlara ekleyin. Varsayımları güncellemek için olayları ve başarısız değerlendirmeleri de kullanın.

Bir senaryonun verisini, yetkisini, kitlesini ve kurtarma koşullarını değiştirmek için risk incelemesi alıştırmasını deneyin. Sonuç, sorulacak sorular önerir. Sisteme özgü bir tehdit modelinin yerini almaz ve işe yetki vermez.