نمذج تهديدات سير عمل تطوير بالذكاء الاصطناعي
مكتملارسم الأصول وحدود الثقة والإخفاقات المحتملة. اختر ضوابط واختبارات لسيناريو تطوير محدد.
تحقّق من فهمكيحتوي سجل تهديدات على «مخاطر الذكاء الاصطناعي: مرتفعة» دون تفاصيل. ما الذي يجب إضافته أولاً؟نفّذ التمرين
ما ستتعلّمه
- رسم نظام التطوير بما يتجاوز التطبيق نفسه.
- وصف تهديد ملموس بمنفّذ وفعل وعاقبة.
- تحويل تهديد إلى ضابط له مسؤول وخطوة تحقق.
اختر سيناريو محدوداً
ابدأ بسير عمل واحد يستطيع الناس فهمه. مثلاً، يقرأ وكيل تذكرة مشكلة ويعدّل مستودعاً ويشغّل اختبارات ويفتح طلب دمج. أدرج الأنظمة التي تجعل هذه الأفعال ممكنة.
احصر الأصول المهمة: الشيفرة المصدرية ومعلومات العملاء وبيانات الاعتماد ونواتج الإصدار وتوافر الخدمة. حدّد المسؤول عنها. ثم حدّد الأشخاص والأنظمة التي تستطيع قراءة كل أصل أو تغييره.
توصي OWASP بنمذجة النظام وتحديد التهديدات واختيار الاستجابات والتحقق من النتيجة. استخدم الطريقة مبكراً وحدّثها مع تغيّر النظام. إرشادات نمذجة التهديدات.
ارسم حدود الثقة
في سير العمل الخيالي من تذكرة مشكلة إلى طلب دمج، ارسم هذه الروابط:
Issue → agent → repository → test runner → artifact store → deployment
أضف مزوّد النموذج ومخزن الأسرار. علّم المواضع التي يأتي فيها المحتوى من مصدر أقل ثقة. وعلّم المواضع التي تكتسب فيها هوية قدرة جديدة، مثل الانتقال من قراءة تذكرة مشكلة إلى كتابة ملفات المستودع.
لا يظهر مخطط التطبيق وحده مخاطر التطوير كاملة. قد تكون قاعدة بيانات الإنتاج خاصة بينما تكشف مهمة CI بيانات اعتماد. أدرج البيئات المؤقتة ووصول الدعم عندما يؤثران في السيناريو.
اكتب مسار إخفاق ملموساً
تجنّب عبارات مثل «قد يكون الذكاء الاصطناعي غير آمن». اكتب منفّذ الفعل والفعل والأصل المتأثر والعاقبة. أدرج الشروط اللازمة لحدوث السيناريو.
| السيناريو | الضابط المطلوب فحصه | الأدلة المطلوب طلبها |
|---|---|---|
| يعيد نص تذكرة مشكلة توجيه الوكيل إلى مستودع غير مرتبط بالمهمة | نطاق المستودع والأدوات | رفض كتابة خارج مستودع المهمة |
| تقرأ مهمة اختبار غير موثوقة بيانات اعتماد للإنتاج | هوية المهمة وعزل الأسرار | فحص سير العمل واختبار رفض معزول |
| يستخدم النشر ناتج بناء مختلفاً عن الخاضع للمراجعة | هوية ناتج البناء وقواعد نقله بين المراحل | تطابق بصمة التجزئة في سجلات الموافقة والنشر |
| يمنع ترحيل فاشل استعادة الخدمة | التوافق وإجراء الاستعادة | تمرين استعادة ببيانات خيالية تمثّل الواقع |
هذه أمثلة، وليست قائمة تهديدات كاملة. تحدّد بياناتك وأدواتك وبيئة تشغيلك السيناريوهات المعنية.
اختر استجابة لها مسؤول
حدّد الأولويات وفق العواقب والتعرّض المعقول. تجنّب تقديم درجة رقمية على أنها دقة لا تملكها. سجّل عدم اليقين والأدلة التي قد تغيّر الأولوية.
يمكن أن تزيل الاستجابة القدرة الخطرة أو تقلّص نطاقها أو تضيف ضابطاً أو تقبل خطراً متبقياً محدداً. يحتاج القبول إلى مسؤول مخوّل وسبب. ويجب ألا يكون استنتاجاً غير خاضع للمراجعة من الوكيل.
حوّل الاستجابة المختارة إلى عمل بشرط قبول يمكن ملاحظته. يصعب التحقق من «حسّن أمن الوكيل». وتحدّد عبارة «لا تستطيع مهمة الاختبار قراءة سر الإنتاج» حداً يمكن فحصه.
راجع بعد التغييرات الجوهرية
قد يغيّر موصّل أو مسار نموذج أو بيئة أو صلاحية جديدة نموذج التهديدات. أضف هذه التغييرات إلى ظروف المراجعة. واستخدم أيضاً الحوادث والتقييمات الفاشلة لتحديث الافتراضات.
جرّب تمرين مراجعة المخاطر لتغيير بيانات السيناريو وصلاحياته وجمهوره وشروط استعادته. تقترح النتيجة أسئلة. ولا تحل محل نموذج تهديدات خاص بالنظام أو تمنح إذناً بالعمل.
نفّذ التمرين
افتح تمرين مراجعة المخاطر. اختر بيانات داخلية وكتابة إلى الفروع ومستخدمين خارجيين واستعادة صعبة. اختر أحد المخاوف الناتجة. اكتب منفّذ الفعل ونقطة الدخول والأصل المتأثر والعاقبة والضابط واختبار الرفض والمسؤول وظرف المراجعة.
تنزيل ورقة العمل (Markdown)يؤدي إلغاء هذا الاختيار إلى حذف كل التقدم المحفوظ في هذا المتصفح.
يبقى تقدمك في هذا المتصفح. دون حساب أو تتبّع.