Измервайте системата за доставка

Започнете с решението, което трябва да вземете

Екип иска да знае дали AI подобрява доставката. Броенето на генерирани редове отговаря на друг въпрос. Определете полезния резултат и условията за качество, преди да изберете показател.

За измислена услуга за експорт желаният резултат е надеждна доставка на приети промени с по-малко общо усилие. Записвайте подготовката, реализацията, прегледа, поправките и изчакването. Включвайте неуспешни и изоставени промени.

Използвайте една услуга с ясна граница. Комбиниране на експериментален сайт и критична платежна услуга може да даде число, което не обяснява нито една от тях. Опишете контекста, преди да сравнявате периоди или екипи.

Използвайте текущи определения

Текущият модел на DORA за доставка съдържа пет показателя. Обхватът им е ефективността на доставката, а не стойността на всяка функционалност или приносът на отделен човек. Определения на показателите на DORA.

Табло може да използва друго определение. Прочетете го, преди да тълкувате резултата. Текущата документация на Taiga за внедряване описва четири отчитани показателя, извлечени от записи за внедряване на доставчика. Нейният показател за възстановяване използва последващо успешно внедряване. Това не е пълен запис на всеки продукционен инцидент. Определения на Taiga.

Прегледайте измислена последователност от промени

Да предположим, че услуга има дванадесет внедрявания за месец. Осем доставят планирани промени. Четири поправят проблеми от по-ранни версии. Броят е дванадесет, но съставът има значение.

През следващия месец екипът прави десет внедрявания: девет планирани промени и една поправка. По-малко внедрявания могат да съществуват заедно с повече полезна работа. Тези числа илюстрират тълкуване; не са еталон за ефективност.

Прегледайте и разпределението. Едно дълго изчакване за преглед може да изчезне в средна стойност. Измерване на възстановяване от един неуспех е слабо доказателство за бъдеща надеждност. Отчитайте броя наблюдения и съществените изключения.

Свържете потока с последствията

Използвайте сигнали от услугата, за да проверите дали промените в доставката влияят на потребителите. По-бърз pipeline не е достатъчен, ако експортите се провалят по-често. Използвайте подходяща SLO или друг ясно определен показател за резултат. Указания за SLO.

Усилието за преглед и преработката помагат да обясните резултата. Ако AI съкращава реализацията, но създава големи diff-ове, прегледът може да стане ограничението. Ако получаването на среди отнема дни, по-бързото програмиране може слабо да повлияе на изминалото време за доставка.

Изберете едно подобрение, което адресира наблюдаваното ограничение. Например осигурете поддържана тестова среда или намалете размера на промяна. Определете балансиращ показател за качество, за да може екипът да открива привидно ускорение, причинено от по-слаби проверки.

Пазете измерването полезно

Избягвайте класиране на хора по брой PR-и или генериран код. Тези показатели могат да възнаграждават изкуствено разделяне на работа, избягване на трудна поддръжка или прехвърляне на усилието за преглед към колеги.

Прегледайте резултата с хората, отговорни за цялата услуга. Запишете какво се е променило в инструмента, състава на работата, екипа и средата. Третирайте сравнение преди и след като доказателство с ограничения, а не автоматично доказателство за причинност.

Целта е по-добро следващо решение. Малко, достоверно измерване, което води до проверено подобрение, е по-полезно от голямо табло без договорено значение.

Упражнете се с десет промени

Този отделен измислен набор данни записва десет планирани промени. Всички часове са UTC на показаната дата. Празно поле за поправка означава, че в този набор не е записана поправка.

Сравнете времето от готов код до начало на преглед, после от приемане до пускане. Определете най-дългото видимо изчакване. Проучете причината му, преди да го наречете избежимо. Тези часове не измерват активно усилие и не определят кога е започнал инцидент. Само пускане на поправка не може да установи времето за възстановяване след неуспешно внедряване.

Изтеглете измисления набор данни (CSV)