向供应商索取证据
已完成将供应商说法转化为可检验问题。检查范围、配置、合同条款和组织保留的职责。
检验理解供应商展示了一个安全的示例环境。评估接下来应确认什么?完成练习
你将学到什么
- 区分产品说法与所需行为的证据。
- 根据自己的场景和验收标准设计评估。
- 记录未解决要求,不把它们当作已确认能力。
从自己的要求开始
供应商可以展示出色产出,却不回答你最重要的问题。演示前先定义要求。
考虑一家持有机密合同数据的虚构公司。团队需要用 AI 协助维护现有应用,供应商却展示了从空代码仓库创建新应用。这个结果展示了一项能力,但没有测试公司的维护工作流。
准备一个小型、有代表性的代码仓库,使用获准的合成数据。纳入一项现有约定、一个失败测试,以及一项需要人工决定的修改。给每家供应商相同的验收标准。
同时索取行为与证据
| 要求 | 应要求的证据 | 需要解决的问题 |
|---|---|---|
| 数据处理 | 数据流说明、当前条款和相关配置 | 哪些副本流向哪些服务? |
| 智能体权限 | 权限模型,以及禁止操作被拒绝的演示 | 限制在哪里落实? |
| 交付 | 计划、diff、检查和产生的 pull request | 审查者能否追踪要求? |
| 人工决定 | 受阻工作流及其解决记录 | 谁可以授权下一步? |
| 运维 | 职责划分和事件流程 | 服务发生故障时,谁响应? |
| 退出 | 示例导出和独立重新构建 | 访问结束后,哪些内容仍可使用? |
“支持 SSO”这样的表述需要背景。询问包含哪些身份提供方、账户等级、角色和离职访问撤销行为。测试相关访问变化。
对于鉴证报告或认证,检查其范围、覆盖服务、审查期间和例外。不要假设供应商的保证自动涵盖团队构建的应用。
观察困难案例
要求供应商展示必要检查失败时会发生什么,再检查产生的产物和决策路径。有用的系统会显露未完成工作和缺失证据。
对于合同应用,加入一个跨越访问边界的虚构请求。评估应显示系统如何处理要求,以及审查者如何验证结果。不要为了让演示更真实,就使用真实机密数据。
记录演示配置与拟采购方案之间的差异。承诺未来提供的功能是一项依赖,不是已经交付的能力。
维护证据登记表
为每项要求记录证据链接、日期、配置、审查者和结论。使用清楚状态:已针对本场景验证、尚未解决,或超出范围。
为未解决项指定负责人和截止时间。决定每项是否阻止决策、是否需要合同条件,或能否在记录限制后接受。
对 Taiga 也采用相同标准。其公开文档和 Trust Centre 可以作为起点。确认所选安排满足你的要求。继续学习退出与可移植性。
完成练习
虚构供应商声称,其 AI 开发产品已适合企业使用。从表中选择三项要求。为每项编写测试、索取一份产物、指定审查者,并定义缺失答案的后果。
下载工作表(Markdown)取消勾选将删除此浏览器保存的全部进度。
进度保存在此浏览器中。无需账户,不追踪使用情况。