Μοντέλα, πλαίσιο και λανθασμένες απαντήσεις

Διαχωρίστε την ικανότητα από τις διαθέσιμες πληροφορίες

Ένα γλωσσικό μοντέλο χρησιμοποιεί μοτίβα που έχει μάθει και τις πληροφορίες που παρέχονται κατά την εργασία. Τα σύγχρονα μοντέλα μπορούν να κάνουν ουσιαστικούς συλλογισμούς και χρήσιμη εργασία λογισμικού. Μπορούν επίσης να παράγουν μια λεπτομερή απάντηση που βασίζεται σε λανθασμένη υπόθεση.

Ο όρος «frontier model» περιγράφει ένα μεταβαλλόμενο επίπεδο ικανότητας. Δεν αποδεικνύει ότι το μοντέλο έχει διαβάσει το αποθετήριό σας. Δεν δείχνει ότι γνωρίζει τις εκδόσεις των εξαρτήσεών σας ή τους άγραφους επιχειρηματικούς κανόνες. Το περιβάλλον της εργασίας πρέπει να παρέχει αυτά τα στοιχεία.

Ένας agent με κατάλληλα εργαλεία μπορεί να ανακτήσει πληροφορίες. Μια συνομιλία χωρίς πρόσβαση δεν μπορεί να εξετάσει το αποθετήριο. Όταν μια απάντηση φαίνεται λανθασμένη, κάντε δύο ερωτήσεις. Μπορεί το μοντέλο να λύσει το πρόβλημα με τις σωστές πληροφορίες; Έλαβε το μοντέλο αυτές τις πληροφορίες;

Ένα διαφορετικό μοντέλο μπορεί να βοηθήσει με το πρώτο πρόβλημα. Η προσθήκη μιας πολιτικής που λείπει ή ένας έλεγχος εξάρτησης μπορεί να λύσει το δεύτερο.

Ορίστε το πλαίσιο για αυτή την εργασία

Το πλαίσιο είναι οι πληροφορίες που είναι διαθέσιμες για την τρέχουσα απάντηση. Περιλαμβάνει οδηγίες, παρεχόμενα αρχεία, σχετική συνομιλία και αποτελέσματα εργαλείων. Τα προϊόντα επιλέγουν και διατηρούν αυτές τις πληροφορίες με διαφορετικούς τρόπους. Μπορούν επίσης να συνοψίζουν προηγούμενο περιεχόμενο.

Μην υποθέτετε ότι το μοντέλο διαβάζει κάθε αρχείο σε έναν φάκελο που μεταφορτώσατε. Μην υποθέτετε ότι μια αρχική οδηγία παραμένει διαθέσιμη σε όλη τη διάρκεια μιας μεγάλης συνεδρίας. Ζητήστε από το εργαλείο να προσδιορίσει τα αρχεία και τις οδηγίες που χρησιμοποίησε.

Περισσότερο πλαίσιο δεν βελτιώνει πάντα την απάντηση. Μια τρέχουσα απόφαση αρχιτεκτονικής μπορεί να βοηθήσει περισσότερο από άσχετα αρχεία πηγαίου κώδικα. Ένας παρωχημένος οδηγός μετάβασης μπορεί να προκαλέσει λανθασμένη απάντηση επειδή φαίνεται έγκυρος.

Εξετάστε μια πλασματική λειτουργία ρυθμίσεων λογαριασμού. Δώστε το route, το middleware εξουσιοδότησης, το σχετικό μοντέλο δεδομένων και ένα υπάρχον test. Προσθέστε έναν συγκεκριμένο περιορισμό: «Ένα μέλος μπορεί να αλλάξει το εμφανιζόμενο όνομά του. Δεν μπορεί να αλλάξει τον ρόλο του στον οργανισμό». Το μοντέλο έχει πλέον έναν ρητό κανόνα που πρέπει να διατηρήσει.

Ελέγξτε τους ισχυρισμούς μιας εξήγησης

Μια απάντηση μπορεί να δηλώνει ότι ένα endpoint είναι ασφαλές επειδή το middleware ελέγχει την ιδιοκτησία. Επαληθεύστε κάθε μέρος αυτού του ισχυρισμού.

1. Ελέγξτε ότι το endpoint χρησιμοποιεί το συγκεκριμένο middleware.
2. Ελέγξτε ότι το middleware επαληθεύει την ιδιοκτησία και δεν περιορίζεται στον έλεγχο ταυτότητας.
3. Προσδιορίστε την πηγή της ταυτότητας του χρήστη.
4. Εκτελέστε αρνητικό test ως διαφορετικός χρήστης.

Μια αναφορά στο αποθετήριο δείχνει πού να κοιτάξετε. Δεν αποδεικνύει ότι η εξήγηση συμφωνεί με τον κώδικα.

Χρησιμοποιήστε την ίδια μέθοδο για μια πρόταση API. Ο παραγόμενος κώδικας μπορεί να καλεί μια μέθοδο που δεν εξάγει το εγκατεστημένο πακέτο σας. Ελέγξτε την έκδοση του πακέτου και την επίσημη τεκμηρίωση πριν αντικαταστήσετε εξαρτήσεις. Διαφορετικά, μια ατεκμηρίωτη υπόθεση μπορεί να προκαλέσει περιττή μετάβαση.

Μετατρέψτε την αβεβαιότητα σε έλεγχο

Η οδηγία «να είστε ακριβείς» δεν είναι σχέδιο επαλήθευσης. Προσδιορίστε την υπόθεση, τα απαιτούμενα αποδεικτικά στοιχεία και τη συνέπεια ενός λανθασμένου αποτελέσματος.

Για παράδειγμα: «Δεν έχουμε επαληθεύσει την απομόνωση μεταξύ tenants για αυτό το endpoint. Εξετάστε τον χειριστή αιτήματος. Προσθέστε ένα test στο οποίο χρήστης από άλλον tenant ζητά την ίδια εγγραφή». Αυτή η οδηγία δίνει στον agent συγκεκριμένη διερεύνηση και παρατηρήσιμο αποτέλεσμα.

Για ερωτήματα υλοποίησης, εξετάστε την πραγματική έκδοση του συστήματος. Ένα έγγραφο μπορεί να περιγράφει την επιδιωκόμενη συμπεριφορά. Η εξέταση κώδικα και τα tests βοηθούν να διαπιστωθεί η τρέχουσα συμπεριφορά. Αν διαφωνούν, καταγράψτε τη διαφορά μέχρι να την επιλύσει ένας υπεύθυνος. Μην επιλέγετε σιωπηρά την πιο βολική απάντηση.

Οι managers μπορούν να χρησιμοποιούν αυτή τη μέθοδο χωρίς να διαβάζουν κάθε αλλαγή κώδικα. Ρωτήστε ποιες υποθέσεις έλεγξε η ομάδα. Προσδιορίστε όσες παραμένουν ανοιχτές και τους υπευθύνους τους. Αυτές οι πληροφορίες στηρίζουν μια απόφαση διάθεσης πιο άμεσα από το όνομα του μοντέλου.