AI development workflow का threat model बनाएँ
पूरा हुआAssets, trust boundaries और संभावित विफलताओं का नक्शा बनाएँ। खास development scenario के लिए controls और tests चुनें।
प्रकाशक Taigaहम कैसे लिखते हैं
अपनी समझ जाँचेंThreat register में केवल “AI risk: high” लिखा है। पहले क्या जोड़ना चाहिए?अभ्यास करें
आप क्या सीखेंगे
- Application के अलावा पूरे development system का चित्र बनाएँ।
- कार्रवाई करने वाले पक्ष, कार्रवाई और परिणाम के साथ ठोस threat बताएँ।
- Threat को जिम्मेदार व्यक्ति वाले control और verification चरण में बदलें।
सीमित scenario चुनें
एक ऐसे workflow से शुरू करें जिसे लोग समझ सकें। उदाहरण के लिए, agent issue पढ़ता है, repository edit करता है, tests चलाता है और pull request खोलता है। इन कार्रवाइयों को संभव बनाने वाले systems शामिल करें।
महत्वपूर्ण assets लिखें: source code, customer information, credentials, release artifacts और service availability। उनके जिम्मेदार लोग पहचानें। फिर उन लोगों और systems को पहचानें जो हर asset पढ़ या बदल सकते हैं।
OWASP system का model बनाने, threats पहचानने, प्रतिक्रियाएँ चुनने और परिणाम जाँचने की सलाह देता है। यह तरीका शुरुआत में इस्तेमाल करें और system बदलने पर update करें। Threat modeling guidance।
Trust boundaries का चित्र बनाएँ
काल्पनिक issue-to-PR workflow के लिए ये connections बनाएँ:
Issue → agent → repository → test runner → artifact store → deployment
Model provider और secret store जोड़ें। चिह्नित करें कि सामग्री कम भरोसेमंद स्रोत से कहाँ आती है। यह भी चिह्नित करें कि identity को नई क्षमता कहाँ मिलती है, जैसे issue पढ़ने से repository files लिखने की ओर जाना।
केवल application का diagram development का पूरा जोखिम नहीं दिखाता। Production database private हो सकता है, जबकि CI job credential उजागर कर दे। Scenario पर असर डालने वाले temporary environments और support access शामिल करें।
विफलता का ठोस रास्ता लिखें
“AI असुरक्षित हो सकता है” जैसी entries से बचें। कार्रवाई करने वाला पक्ष, कार्रवाई, प्रभावित asset और परिणाम लिखें। Scenario होने के लिए जरूरी शर्तें शामिल करें।
| Scenario | जाँचा जाने वाला control | माँगा जाने वाला प्रमाण |
|---|---|---|
| Issue का text agent को असंबंधित repository की ओर भेजता है | Repository और tool का दायरा | काम की repository के बाहर write अस्वीकार होना |
| Untrusted test job production credential पढ़ती है | Job identity और secret isolation | Workflow का निरीक्षण और अलग denial test |
| Deployment review किए गए artifact से अलग artifact इस्तेमाल करता है | Artifact identity और promotion rules | Approval और deployment records में मेल खाता digest |
| Failed migration सेवा की recovery रोकता है | Compatibility और restore प्रक्रिया | प्रतिनिधि काल्पनिक डेटा के साथ recovery अभ्यास |
ये उदाहरण हैं, threats की पूरी सूची नहीं। आपके डेटा, tools और operating environment से संबंधित scenarios तय होते हैं।
जिम्मेदार व्यक्ति के साथ प्रतिक्रिया चुनें
परिणामों और भरोसेमंद प्रमाण वाले exposure को प्राथमिकता दें। Numerical score को ऐसी सटीकता की तरह न दिखाएँ जो आपके पास नहीं है। अनिश्चितता और प्राथमिकता बदल सकने वाला प्रमाण दर्ज करें।
प्रतिक्रिया जोखिम वाली क्षमता हटा सकती है, उसका दायरा घटा सकती है, control जोड़ सकती है या तय बचे जोखिम को स्वीकार कर सकती है। स्वीकृति के लिए अधिकृत जिम्मेदार व्यक्ति और कारण चाहिए। यह agent का बिना review किया निष्कर्ष नहीं होना चाहिए।
चुनी प्रतिक्रिया को ऐसे काम में बदलें जिसकी acceptance condition देखी और जाँची जा सके। “Agent security सुधारें” जाँचना कठिन है। “Test job production secret नहीं पढ़ सकती” जाँची जा सकने वाली सीमा तय करता है।
महत्वपूर्ण बदलावों के बाद review करें
नया connector, model route, environment या permission threat model बदल सकता है। इन बदलावों को review की शर्तों में जोड़ें। Incidents और failed evaluations से भी धारणाएँ update करें।
Scenario का डेटा, अधिकार, उपयोगकर्ता समूह और recovery की शर्तें बदलने के लिए risk-review अभ्यास करें। परिणाम प्रश्न सुझाता है। वह system के खास threat model की जगह नहीं लेता और काम की अनुमति नहीं देता।
अभ्यास करें
Risk-review अभ्यास खोलें। Internal data, branch writes, external users और कठिन recovery चुनें। परिणाम में आई एक चिंता चुनें। कार्रवाई करने वाला पक्ष, प्रवेश बिंदु, प्रभावित asset, असर, control, denial test, जिम्मेदार व्यक्ति और review की शर्त लिखें।
Worksheet डाउनलोड करें (Markdown)यह चयन हटाने से इस browser में सहेजी गई पूरी प्रगति मिट जाती है।
प्रगति इसी browser में रहती है। कोई account या tracking नहीं।