Διαδρομή 03Μάθημα 6 / 6

Μοντελοποιήστε τις απειλές σε μια ροή ανάπτυξης με AI

Χαρτογραφήστε τα στοιχεία που χρειάζονται προστασία, τα όρια εμπιστοσύνης και τις πιθανές αστοχίες. Επιλέξτε ελέγχους και tests για συγκεκριμένο σενάριο ανάπτυξης.

Προχωρημένο επίπεδο11 minΕλέγχθηκε

Εκδότης Πώς γράφουμε

Ελέγξτε τι κατανοήσατεΈνα μητρώο απειλών περιέχει το «κίνδυνος AI: υψηλός» χωρίς άλλες λεπτομέρειες. Τι πρέπει να προσθέσετε πρώτα;Κάντε την άσκηση
Ένα μητρώο απειλών περιέχει το «κίνδυνος AI: υψηλός» χωρίς άλλες λεπτομέρειες. Τι πρέπει να προσθέσετε πρώτα;

Τι θα μάθετε

  • Σχεδιάστε το σύστημα ανάπτυξης πέρα από την ίδια την εφαρμογή.
  • Περιγράψτε μια συγκεκριμένη απειλή με δράστη, ενέργεια και συνέπεια.
  • Μετατρέψτε μια απειλή σε έλεγχο με υπεύθυνο και βήμα επαλήθευσης.

Επιλέξτε ένα περιορισμένο σενάριο

Ξεκινήστε από μία ροή εργασίας που οι άνθρωποι μπορούν να κατανοήσουν. Για παράδειγμα, ένας agent διαβάζει ένα issue, επεξεργάζεται ένα αποθετήριο, εκτελεί tests και ανοίγει ένα pull request. Συμπεριλάβετε τα συστήματα που επιτρέπουν αυτές τις ενέργειες.

Καταγράψτε τα σημαντικά στοιχεία που χρειάζονται προστασία: πηγαίο κώδικα, πληροφορίες πελατών, διαπιστευτήρια, artifacts εκδόσεων και διαθεσιμότητα υπηρεσίας. Προσδιορίστε ποιος είναι υπεύθυνος για αυτά. Έπειτα προσδιορίστε τα άτομα και συστήματα που μπορούν να διαβάσουν ή να αλλάξουν κάθε στοιχείο.

Το OWASP συνιστά μοντελοποίηση του συστήματος, εντοπισμό απειλών, επιλογή αποκρίσεων και επικύρωση του αποτελέσματος. Χρησιμοποιήστε τη μέθοδο νωρίς και ενημερώνετέ τη καθώς αλλάζει το σύστημα. Οδηγίες μοντελοποίησης απειλών.

Σχεδιάστε τα όρια εμπιστοσύνης

Για την πλασματική ροή από issue σε PR, σχεδιάστε αυτές τις συνδέσεις:

Issue → agent → repository → test runner → artifact store → deployment

Προσθέστε τον πάροχο μοντέλου και τον χώρο αποθήκευσης μυστικών. Σημειώστε πού προέρχεται περιεχόμενο από λιγότερο έμπιστη πηγή. Σημειώστε πού μια ταυτότητα αποκτά νέα δυνατότητα, όπως όταν περνά από την ανάγνωση issue στην εγγραφή αρχείων αποθετηρίου.

Το διάγραμμα εφαρμογής από μόνο του δεν δείχνει ολόκληρο τον κίνδυνο ανάπτυξης. Μια βάση δεδομένων παραγωγής μπορεί να είναι ιδιωτική, ενώ μια εργασία CI εκθέτει διαπιστευτήριο. Συμπεριλάβετε προσωρινά περιβάλλοντα και πρόσβαση υποστήριξης όταν επηρεάζουν το σενάριο.

Γράψτε μια συγκεκριμένη διαδρομή αστοχίας

Αποφύγετε καταχωρίσεις όπως «το AI μπορεί να μην είναι ασφαλές». Γράψτε ποιος ενεργεί, μια ενέργεια, ένα επηρεαζόμενο στοιχείο και μια συνέπεια. Συμπεριλάβετε τις συνθήκες που χρειάζονται για να συμβεί το σενάριο.

ΣενάριοΈλεγχος προς εξέτασηΑποδεικτικά στοιχεία προς αναζήτηση
Το κείμενο ενός issue κατευθύνει τον agent σε άσχετο αποθετήριοΠεδίο πρόσβασης σε αποθετήρια και εργαλείαΑπόρριψη εγγραφής έξω από το αποθετήριο της εργασίας
Μια μη έμπιστη εργασία tests διαβάζει διαπιστευτήριο παραγωγήςΤαυτότητα εργασίας και απομόνωση μυστικώνΕξέταση workflow και απομονωμένο test απόρριψης
Το deployment χρησιμοποιεί διαφορετικό artifact από εκείνο που ανασκοπήθηκεΤαυτότητα artifact και κανόνες προώθησηςΊδιο κρυπτογραφικό αποτύπωμα στις καταγραφές έγκρισης και deployment
Ένα αποτυχημένο migration εμποδίζει την ανάκτηση υπηρεσίαςΣυμβατότητα και διαδικασία επαναφοράςΆσκηση ανάκτησης με αντιπροσωπευτικά πλασματικά δεδομένα

Αυτά είναι παραδείγματα, όχι πλήρης λίστα απειλών. Τα δεδομένα, τα εργαλεία και το περιβάλλον λειτουργίας σας καθορίζουν τα σχετικά σενάρια.

Επιλέξτε απόκριση με υπεύθυνο

Δώστε προτεραιότητα στις συνέπειες και στην τεκμηριωμένα πιθανή έκθεση. Αποφύγετε να παρουσιάζετε μια αριθμητική βαθμολογία ως ακρίβεια που δεν διαθέτετε. Καταγράψτε την αβεβαιότητα και τα αποδεικτικά στοιχεία που θα μπορούσαν να αλλάξουν την προτεραιότητα.

Μια απόκριση μπορεί να αφαιρέσει την επικίνδυνη δυνατότητα, να περιορίσει την έκτασή της, να προσθέσει έλεγχο ή να αποδεχτεί καθορισμένο υπολειπόμενο κίνδυνο. Η αποδοχή χρειάζεται εξουσιοδοτημένο υπεύθυνο και αιτιολογία. Δεν πρέπει να είναι συμπέρασμα agent που δεν έχει ανασκοπηθεί.

Μετατρέψτε την επιλεγμένη απόκριση σε εργασία με παρατηρήσιμη συνθήκη αποδοχής. Το «βελτιώστε την ασφάλεια του agent» είναι δύσκολο να επαληθευτεί. Το «η εργασία tests δεν μπορεί να διαβάσει το μυστικό παραγωγής» ορίζει όριο που μπορεί να ελεγχθεί.

Επανεξετάστε μετά από ουσιώδεις αλλαγές

Ένας νέος connector, μια διαδρομή μοντέλου, ένα περιβάλλον ή ένα δικαίωμα μπορεί να αλλάξει το μοντέλο απειλών. Προσθέστε αυτές τις αλλαγές στα εναύσματα επανεξέτασης. Χρησιμοποιήστε επίσης περιστατικά και αποτυχημένες αξιολογήσεις για να ενημερώσετε τις υποθέσεις.

Δοκιμάστε την άσκηση ανασκόπησης κινδύνου για να αλλάξετε τα δεδομένα, την εξουσιοδότηση, το κοινό και τις συνθήκες ανάκτησης ενός σεναρίου. Το αποτέλεσμα προτείνει ερωτήματα. Δεν αντικαθιστά ένα μοντέλο απειλών για το συγκεκριμένο σύστημα ούτε εξουσιοδοτεί την εργασία.

Κάντε την άσκηση

Ανοίξτε την άσκηση ανασκόπησης κινδύνου. Επιλέξτε εσωτερικά δεδομένα, εγγραφές σε branch, εξωτερικούς χρήστες και δύσκολη ανάκτηση. Επιλέξτε μία ανησυχία που προκύπτει. Γράψτε ποιος ενεργεί, το σημείο εισόδου, το επηρεαζόμενο στοιχείο, τη συνέπεια, τον έλεγχο, το test απόρριψης, τον υπεύθυνο και το έναυσμα επανεξέτασης.

Λήψη φύλλου εργασίας (Markdown)
Ελέγξτε τι κατανοήσατε ↑

Συνεχίστε τη μάθηση

Πηγές και πρόσθετη μελέτη

Σχετικό υλικό από την Taiga

Προηγούμενο μάθημα: Συνδέστε τις υποχρεώσεις με αποδεικτικά στοιχεία