Μετρήστε το σύστημα παράδοσης

Ξεκινήστε από την απόφαση που χρειάζεται να πάρετε

Μια ομάδα θέλει να γνωρίζει αν το AI βελτιώνει την παράδοση. Η μέτρηση παραγόμενων γραμμών απαντά σε διαφορετικό ερώτημα. Ορίστε το χρήσιμο αποτέλεσμα και τις συνθήκες ποιότητας πριν επιλέξετε μετρική.

Για μια πλασματική υπηρεσία εξαγωγής, το επιθυμητό αποτέλεσμα είναι αξιόπιστη παράδοση αποδεκτών αλλαγών με λιγότερη συνολική προσπάθεια. Καταγράψτε προετοιμασία, υλοποίηση, ανασκόπηση, διόρθωση και αναμονή. Συμπεριλάβετε αλλαγές που απέτυχαν ή εγκαταλείφθηκαν.

Χρησιμοποιήστε μία υπηρεσία με σαφές όριο. Ο συνδυασμός ενός πειραματικού ιστοτόπου και μιας κρίσιμης υπηρεσίας πληρωμών μπορεί να παράγει αριθμό που δεν εξηγεί κανένα από τα δύο. Περιγράψτε το πλαίσιο πριν συγκρίνετε περιόδους ή ομάδες.

Χρησιμοποιήστε τρέχοντες ορισμούς

Το τρέχον μοντέλο παράδοσης της DORA περιέχει πέντε μετρικές. Η έκτασή τους είναι η απόδοση παράδοσης, όχι η αξία κάθε λειτουργίας ή η συνεισφορά ενός ατόμου. Ορισμοί μετρικών DORA.

Ένας πίνακας ελέγχου μπορεί να χρησιμοποιεί άλλο ορισμό. Διαβάστε τον πριν ερμηνεύσετε το αποτέλεσμα. Η τρέχουσα τεκμηρίωση deployment του Taiga περιγράφει τέσσερις αναφερόμενες μετρικές που προκύπτουν από καταγραφές deployment παρόχων. Το μέτρο ανάκτησής του χρησιμοποιεί επόμενο επιτυχές deployment. Αυτό δεν είναι πλήρης καταγραφή κάθε περιστατικού παραγωγής. Ορισμοί του Taiga.

Εξετάστε μια πλασματική ακολουθία αλλαγών

Υποθέστε ότι μια υπηρεσία κάνει δώδεκα deployments σε έναν μήνα. Οκτώ παραδίδουν προγραμματισμένες αλλαγές. Τέσσερα επιδιορθώνουν προβλήματα προηγούμενων εκδόσεων. Ο αριθμός είναι δώδεκα, αλλά η σύνθεση έχει σημασία.

Τον επόμενο μήνα, η ομάδα κάνει δέκα deployments: εννέα προγραμματισμένες αλλαγές και μία επιδιόρθωση. Λιγότερα deployments μπορούν να συνυπάρχουν με περισσότερη χρήσιμη εργασία. Αυτά τα μεγέθη δείχνουν την ερμηνεία· δεν είναι σημείο αναφοράς απόδοσης.

Εξετάστε επίσης την κατανομή. Μία μεγάλη αναμονή ανασκόπησης μπορεί να χαθεί μέσα σε έναν μέσο όρο. Μια μέτρηση ανάκτησης από μία μόνο αστοχία είναι ασθενές αποδεικτικό στοιχείο για μελλοντική αξιοπιστία. Αναφέρετε τον αριθμό παρατηρήσεων και τις ουσιώδεις εξαιρέσεις.

Συνδυάστε τη ροή με τις συνέπειες

Χρησιμοποιήστε σήματα υπηρεσίας για να ελέγξετε αν οι αλλαγές παράδοσης επηρεάζουν χρήστες. Ένα ταχύτερο pipeline δεν αρκεί αν οι εξαγωγές αποτυγχάνουν συχνότερα. Χρησιμοποιήστε κατάλληλο SLO ή άλλο σαφώς ορισμένο μέτρο αποτελέσματος. Οδηγίες SLO.

Η προσπάθεια ανασκόπησης και η επανεργασία βοηθούν στην εξήγηση του αποτελέσματος. Αν το AI μειώνει τον χρόνο υλοποίησης αλλά παράγει μεγάλα diffs, η ανασκόπηση μπορεί να γίνει ο περιορισμός. Αν τα περιβάλλοντα χρειάζονται ημέρες για να διατεθούν, ο ταχύτερος προγραμματισμός μπορεί να επηρεάζει ελάχιστα τον συνολικό χρόνο παράδοσης.

Επιλέξτε μία βελτίωση που αντιμετωπίζει τον παρατηρούμενο περιορισμό. Για παράδειγμα, παρέχετε υποστηριζόμενο περιβάλλον δοκιμών ή μειώστε το μέγεθος αλλαγής. Ορίστε μια συμπληρωματική μετρική ποιότητας ώστε η ομάδα να εντοπίζει φαινομενικό κέρδος ταχύτητας που προκαλείται από ασθενέστερους ελέγχους.

Κρατήστε τη μέτρηση χρήσιμη

Αποφύγετε ατομικές κατατάξεις με βάση αριθμούς PR ή παραγόμενο κώδικα. Αυτές οι μετρήσεις μπορεί να επιβραβεύουν τεχνητή κατάτμηση εργασίας, αποφυγή δύσκολης συντήρησης ή μεταφορά προσπάθειας ανασκόπησης σε συναδέλφους.

Εξετάστε το αποτέλεσμα με τους ανθρώπους που είναι υπεύθυνοι για ολόκληρη την υπηρεσία. Καταγράψτε τι άλλαξε στο εργαλείο, στο μείγμα εργασιών, στην ομάδα και στο περιβάλλον. Αντιμετωπίστε μια σύγκριση πριν και μετά ως αποδεικτικό στοιχείο με περιορισμούς, όχι ως αυτόματη απόδειξη αιτιότητας.

Σκοπός είναι μια καλύτερη επόμενη απόφαση. Μια μικρή, αξιόπιστη μέτρηση που οδηγεί σε επαληθευμένη βελτίωση είναι πιο χρήσιμη από έναν μεγάλο πίνακα ελέγχου χωρίς συμφωνημένο νόημα.

Εξασκηθείτε με δέκα αλλαγές

Αυτό το ξεχωριστό πλασματικό σύνολο δεδομένων καταγράφει δέκα προγραμματισμένες αλλαγές. Όλες οι ώρες είναι UTC στην εμφανιζόμενη ημερομηνία. Κενό πεδίο διόρθωσης σημαίνει ότι δεν καταγράφηκε διόρθωση σε αυτό το σύνολο δεδομένων.

Συγκρίνετε τον χρόνο από την ετοιμότητα κώδικα μέχρι την έναρξη ανασκόπησης και μετά από την αποδοχή μέχρι τη διάθεση. Εντοπίστε τη μεγαλύτερη ορατή αναμονή. Διερευνήστε την αιτία της πριν τη χαρακτηρίσετε αποτρέψιμη. Αυτές οι χρονικές σημάνσεις δεν μετρούν ενεργή προσπάθεια ούτε προσδιορίζουν πότε άρχισε ένα περιστατικό. Μια διορθωτική διάθεση από μόνη της δεν μπορεί να προσδιορίσει τον χρόνο ανάκτησης μετά από αποτυχημένο deployment.

Κατεβάστε το πλασματικό σύνολο δεδομένων (CSV)