学习路径 04课程 10 / 10

衡量交付系统

综合交付流程、不稳定性、服务结果和投入。评估 AI 影响时,使用明确的定义。

实践10 分钟已审查

发布者 我们如何编写内容

检验理解引入 AI 后,部署频率增加,计划外修复部署也增加。应该得出什么结论?完成练习
引入 AI 后,部署频率增加,计划外修复部署也增加。应该得出什么结论?

你将学到什么

  • 区分交付表现与代码生成活动。
  • 根据事件定义和范围解读指标。
  • 用测量选择改进,而不是给个人排名。

从需要作出的决定开始

团队想知道 AI 是否改善交付。计算生成行数回答的是另一个问题。选择指标前,先定义有用结果和质量条件。

对于虚构导出服务,目标是以更少总投入,可靠交付已接受的修改。记录准备、实现、审查、修正和等待,也纳入失败或放弃的变更。

选择边界清楚的单个服务。把实验网站与关键付款服务混在一起,可能得到一个对两者都没有解释力的数字。比较不同时期或团队前,先描述背景。

使用当前定义

DORA 当前交付模型包含五项指标。它们衡量交付表现,不是每项功能的价值,也不是个人贡献。参见 DORA 指标定义。

指标测量重点
变更前置时间从提交到生产
部署频率生产部署速率
失败部署恢复时间部署失败后的恢复
变更失败率需要立即干预的部署
部署返工率生产事件导致的计划外部署

仪表板可能采用其他定义,解读结果前应先阅读。Taiga 当前部署文档说明了基于提供方部署记录报告的四项指标。其中恢复指标使用后续成功部署作为依据,并不是所有生产事件的完整记录。参见 Taiga 定义。

检查虚构变更序列

假设某服务一个月部署十二次,其中八次交付计划变更,四次修复早期发布的问题。总数是十二次,但组成也很重要。

下个月,团队部署十次,其中九次是计划变更,一次是修复。部署减少,也可能伴随更多有用工作。这些数字用于说明如何解读,不是绩效基准。

也要检查分布。一次很长的审查等待,可能被平均值掩盖。单次故障的恢复指标,不足以有力预测未来可靠性。报告观察次数和重要例外。

将流程与后果一起衡量

用服务信号检查交付变化是否影响用户。如果导出更频繁地失败,流水线更快并不够。采用合适的 SLO,或其他定义清楚的结果指标。参见 SLO 指南。

审查投入和返工有助于解释结果。如果 AI 缩短实现,却生成庞大 diff,审查可能成为瓶颈。如果获取环境需要数天,编码更快可能对交付总历时影响很小。

针对观察到的约束选择一项改进,例如提供受支持的测试环境,或缩小修改规模。定义质量制衡指标,让团队能够发现因检查变弱而产生的表面提速。

让测量有用

避免根据 PR 数量或生成代码给个人排名。这些指标可能鼓励人为拆分工作、回避困难维护,或把审查投入转移给同事。

与负责完整服务的人一起复核结果。记录工具、工作组成、团队和环境发生了什么变化。将前后比较视为有局限的证据,不要自动当作因果证明。

目的是作出更好的下一步决定。能够促成已验证改进的小规模可信测量,比没有共同定义的大型仪表板更有用。

用十项变更练习

下面是另一份独立的虚构数据集,记录十项计划变更。所有时间均为所示日期的 UTC 时间。修正字段为空,表示该数据集中没有记录修正。

变更/日期开始工作代码就绪开始审查已接受已发布已修正
C01 · 2026-09-1408:0008:4509:1509:3010:00—
C02 · 2026-09-1409:0009:3012:0012:2013:00—
C03 · 2026-09-1508:0009:0009:1509:4010:0015:00
C04 · 2026-09-1510:0010:3010:4511:0011:15—
C05 · 2026-09-1608:0009:0013:0013:3014:00—
C06 · 2026-09-1610:0011:0011:3012:0012:15—
C07 · 2026-09-1708:0008:3009:0009:2009:30—
C08 · 2026-09-1710:0010:4511:0011:3014:30—
C09 · 2026-09-1808:0008:3009:0009:3010:00—
C10 · 2026-09-1809:0009:3010:0010:3011:0014:00

比较代码就绪到开始审查的时间,再比较接受到发布的时间。找出最长的可见等待。认定它可以避免之前,先调查原因。这些时间戳不衡量实际工作投入,也不说明事件何时开始。仅凭修复版本发布,不能确定失败部署恢复时间。

下载虚构数据集(CSV)

检查等待时间

核对你的理解:C05 等待审查四小时。C08 在接受后等待三小时才发布。数据集没有解释这些等待。应询问可用资源、工作时间、发布策略和依赖情况。

完成练习

使用本课的十项变更数据集。定义部署、失败变更和恢复事件。找出最长的可见等待,并说明需要什么证据确定原因。提出一项改进,以及一项能揭示质量下降的指标。

下载工作表(Markdown)
检验理解 ↑

继续学习

来源与延伸阅读

Taiga 相关阅读

← 上一课: 依据证据作出发布决定