Επιλέξτε μοντέλο με αποδεικτικά στοιχεία

Ορίστε την απόφαση

Μια σύγκριση μοντέλων χρειάζεται συγκεκριμένη χρήση. Ένα μοντέλο που εξηγεί καλά μια μικρή συνάρτηση μπορεί να μη χειρίζεται εξίσου καλά μια μεγάλη αλλαγή αποθετηρίου. Ένα μοντέλο χαμηλότερου κόστους μπορεί να καλύπτει την απαίτηση ποιότητας για συνήθεις μετασχηματισμούς. Μια δύσκολη διερεύνηση μπορεί να απαιτεί μεγαλύτερη ικανότητα συλλογισμού.

Γράψτε πρώτα την εργασία και τους περιορισμούς. Συμπεριλάβετε τα επιτρεπόμενα δεδομένα, τα απαιτούμενα εργαλεία, τον χρόνο απόκρισης και το μέγιστο αποδεκτό κόστος. Ορισμένοι περιορισμοί είναι υποχρεωτικοί. Μην εξουδετερώνετε έναν περιορισμό χειρισμού δεδομένων μέσω ενός μέσου όρου, επειδή μια άλλη βαθμολογία είναι υψηλή.

Χρησιμοποιήστε αντιπροσωπευτικές εργασίες

Δημιουργήστε ένα μικρό σύνολο αξιολόγησης από τη δουλειά που πράγματι κάνει η ομάδα σας. Αφαιρέστε τα ευαίσθητα δεδομένα, εκτός αν το περιβάλλον αξιολόγησης έχει εγκριθεί για αυτά. Συμπεριλάβετε απλές εργασίες, δύσκολες εργασίες και εργασίες όπου η σωστή απόκριση είναι να ζητηθούν πληροφορίες που λείπουν.

Για μια πλασματική υπηρεσία αναφορών, χρησιμοποιήστε ένα γνωστό ελάττωμα ημερομηνίας, μια μικρή λειτουργία φίλτρου και μια εξήγηση κανόνα εξουσιοδότησης. Προετοιμάστε το αναμενόμενο αποτέλεσμα πριν εκτελέσετε τη σύγκριση. Συμπεριλάβετε ένα αρνητικό test που απορρίπτει το γνωστό ελάττωμα.

Κρατήστε ορισμένες εργασίες χωριστά από την ανάπτυξη του prompt. Αν προσαρμόζετε επανειλημμένα το prompt σε κάθε παράδειγμα, η τελική βαθμολογία μπορεί να υπερεκτιμά τη γενική απόδοση. Ένα ξεχωριστό σύνολο βοηθά να φανεί αν το βελτιωμένο prompt λειτουργεί πέρα από τα παραδείγματα που χρησιμοποιήθηκαν για τη δημιουργία του.

Κρατήστε τη σύγκριση δίκαιη

Καταγράψτε την ακριβή έκδοση μοντέλου, το prompt, το παρεχόμενο πλαίσιο, τα εργαλεία και τα δικαιώματα. Χρησιμοποιήστε ισοδύναμες αρχικές καταστάσεις. Αν ένα μοντέλο λάβει ολόκληρο αποθετήριο και ένα άλλο ένα αρχείο, το αποτέλεσμα συγκρίνει και ροές εργασίας, όχι μόνο μοντέλα.

Οι συγκρίσεις ροών εργασίας μπορεί να είναι χρήσιμες. Περιγράψτε τες σωστά. Σε ένα προϊόν agent, το μοντέλο είναι ένα μόνο μέρος του συστήματος: η επιλογή πλαισίου, τα εργαλεία, τα όρια εκτέλεσης και η συμπεριφορά ανάκτησης μπορούν να επηρεάσουν το αποτέλεσμα.

Χρησιμοποιήστε επαναλαμβανόμενες εκτελέσεις όταν έχει σημασία η διακύμανση των εξόδων. Καταγράψτε τις αποτυχημένες προσπάθειες αντί να αναφέρετε μόνο το καλύτερο αποτέλεσμα. Για υποκειμενικά κριτήρια, χρησιμοποιήστε γραπτό οδηγό βαθμολόγησης και περισσότερους από έναν αξιολογητές, όπου είναι πρακτικό.

Βαθμολογήστε την ποιότητα πριν από την ταχύτητα

Πρώτα ελέγξτε τα υποχρεωτικά κριτήρια αποδοχής. Καλύπτει η αλλαγή την απαίτηση; Διατηρεί τους ελέγχους πρόσβασης; Περνούν τα σχετικά tests; Μπορεί ο αξιολογητής να καταλάβει το diff;

Έπειτα συγκρίνετε την προσπάθεια, τον χρόνο που μεσολάβησε και το κόστος για αποδεκτά αποτελέσματα. Συμπεριλάβετε επαναλήψεις και ανθρώπινη ανασκόπηση. Μια φθηνή απάντηση που χρειάζεται επανειλημμένες διορθώσεις μπορεί να είναι ακριβή στο επίπεδο της εργασίας.

Τα δημόσια benchmarks μπορούν να βοηθήσουν στον εντοπισμό υποψήφιων μοντέλων. Χρησιμοποιούν συγκεκριμένα σύνολα εργασιών και μεθόδους βαθμολόγησης. Μην αντιμετωπίζετε μια βαθμολογία benchmark ως άμεση μέτρηση της παραγωγικότητας της ομάδας σας.

Καταγράψτε την απόφαση και τις συνθήκες λήξης της

Το αποτέλεσμα μπορεί να είναι μια περιορισμένη σύσταση. Για παράδειγμα: «Χρησιμοποιήστε αυτό το μοντέλο για μικρές προσθήκες tests σε αυτό το αποθετήριο, με τις υπάρχουσες απαιτήσεις ανασκόπησης». Δεν χρειάζεστε ένα μοντέλο για κάθε εργασία.

Δηλώστε τι θα απαιτούσε νέα αξιολόγηση. Παραδείγματα είναι μια αλλαγή έκδοσης μοντέλου, διαφορετική διαμόρφωση εργαλείων, νέα κατηγορία δεδομένων ή επίμονο μοτίβο αστοχιών. Κρατήστε εναλλακτική λύση για εργασίες που υπερβαίνουν την ικανότητα του επιλεγμένου μοντέλου.

Σκοπός της αξιολόγησης είναι να μειωθεί η αβεβαιότητα γύρω από μια πραγματική απόφαση. Αποφύγετε έναν διαρκή διαγωνισμό μοντέλων που καταναλώνει περισσότερη προσπάθεια από την εργασία που υποστηρίζει.