Вымярайце сістэму пастаўкі

Пачніце з рашэння, якое трэба прыняць

Каманда хоча ведаць, ці паляпшае AI пастаўку. Падлік згенераваных радкоў адказвае на іншае пытанне. Вызначце карысны вынік і ўмовы якасці перад выбарам метрыкі.

Для выдуманага сэрвісу экспарту жаданы вынік — надзейная пастаўка прынятых змен з меншымі агульнымі намаганнямі. Запісвайце падрыхтоўку, рэалізацыю, праверку, выпраўленне і чаканне. Уключайце змены, якія не атрымаліся або ад якіх адмовіліся.

Выкарыстоўвайце адзін сэрвіс з выразнай мяжой. Аб’яднанне эксперыментальнага сайта і крытычнага плацежнага сэрвісу можа даць лік, які не тлумачыць ніводнага. Апісвайце кантэкст перад параўнаннем перыядаў або каманд.

Выкарыстоўвайце актуальныя азначэнні

Бягучая мадэль пастаўкі DORA змяшчае пяць метрык. Іх абсяг — эфектыўнасць пастаўкі, а не каштоўнасць кожнай функцыі або ўклад асобнага чалавека. Азначэнні метрык DORA.

Панэль можа выкарыстоўваць іншае азначэнне. Прачытайце яго перад тлумачэннем выніку. Бягучая дакументацыя разгортванняў Taiga апісвае чатыры метрыкі са справаздач, атрыманыя з запісаў разгортванняў пастаўшчыка. Яе мера аднаўлення выкарыстоўвае наступнае паспяховае разгортванне. Гэта не поўны запіс кожнага інцыдэнту ў production. Азначэнні Taiga.

Вывучыце выдуманую паслядоўнасць змен

Дапусцім, сэрвіс выконвае дванаццаць разгортванняў за месяц. Восем пастаўляюць запланаваныя змены. Чатыры выпраўляюць праблемы ранейшых выпускаў. Колькасць — дванаццаць, але склад мае значэнне.

У наступным месяцы каманда выконвае дзесяць разгортванняў: дзевяць запланаваных змен і адно выпраўленне. Меншая колькасць разгортванняў можа суіснаваць з большай колькасцю карыснай працы. Гэтыя лічбы ілюструюць тлумачэнне; яны не з’яўляюцца эталонам эфектыўнасці.

Таксама вывучайце размеркаванне. Адно доўгае чаканне праверкі можа схавацца ў сярэднім значэнні. Мера аднаўлення з аднаго збою — слабы доказ будучай надзейнасці. Паведамляйце колькасць назіранняў і істотныя выключэнні.

Супастаўляйце паток з наступствамі

Выкарыстоўвайце сігналы сэрвісу, каб праверыць уплыў змен пастаўкі на карыстальнікаў. Хутчэйшага канвеера недастаткова, калі экспарт часцей завяршаецца памылкай. Выкарыстоўвайце адпаведны SLO або іншую выразна вызначаную меру выніку. Рэкамендацыі па SLO.

Намаганні на праверку і перапрацоўка дапамагаюць растлумачыць вынік. Калі AI скарачае рэалізацыю, але стварае вялікі аб’ём змен у diff, праверка можа стаць абмежаваннем. Калі атрыманне асяроддзя займае дні, хутчэйшае напісанне кода можа мала ўплываць на агульны час пастаўкі.

Выберыце адно паляпшэнне, якое вырашае назіранае абмежаванне. Напрыклад, дайце падтрыманае тэставае асяроддзе або паменшыце памер змены. Вызначце дадатковую метрыку якасці, каб каманда магла выявіць уяўны выйгрыш хуткасці праз слабейшыя праверкі.

Захоўвайце вымярэнне карысным

Пазбягайце рэйтынгаў асобных людзей паводле колькасці PR або згенераванага кода. Такія меры могуць заахвочваць штучнае драбненне працы, пазбяганне складанага суправаджэння або пераклад намаганняў праверкі на калег.

Пераглядайце вынік з людзьмі, якія адказваюць за ўвесь сэрвіс. Запісвайце, што змянілася ў інструменце, складзе працы, камандзе і асяроддзі. Стаўцеся да параўнання «да і пасля» як да доказу з абмежаваннямі, а не аўтаматычнага доказу прычыннасці.

Мэта — лепшае наступнае рашэнне. Невялікае надзейнае вымярэнне, якое вядзе да праверанага паляпшэння, карыснейшае за вялікую панэль без узгодненага сэнсу.

Патрэніруйцеся на дзесяці зменах

Гэты асобны выдуманы набор даных запісвае дзесяць запланаваных змен. Увесь час указаны ў UTC на пазначаную дату. Пустое поле выпраўлення азначае, што ў гэтым наборы даных выпраўленне не было запісана.

Параўнайце час ад гатоўнасці кода да пачатку праверкі, а затым ад прыняцця да выпуску. Вызначце самае доўгае бачнае чаканне. Даследуйце яго прычыну, перш чым называць яго пазбежным. Гэтыя часавыя пазнакі не вымяраюць актыўных намаганняў і не вызначаюць пачатку інцыдэнту. Адно разгортванне выпраўлення не можа вызначыць час аднаўлення пасля няўдалага разгортвання.

Спампаваць выдуманы набор даных (CSV)