AI 개발 작업 흐름의 위협 모델 만들기

범위를 제한한 시나리오를 선택하세요

사람들이 이해할 수 있는 하나의 작업 흐름부터 시작하세요. 예를 들어 에이전트가 이슈를 읽고, 저장소를 수정하고, 테스트를 실행하고, 풀 리퀘스트를 여는 과정입니다. 이런 작업을 가능하게 하는 시스템도 포함하세요.

중요한 자산을 나열하세요. 소스 코드, 고객 정보, 자격 증명, 릴리스 아티팩트, 서비스 가용성 등이 있습니다. 담당자를 확인하세요. 그런 다음 각 자산을 읽거나 변경할 수 있는 사람과 시스템을 확인하세요.

OWASP는 시스템 모델링, 위협 식별, 대응 선택, 결과 검증을 권장합니다. 이 방법을 초기부터 사용하고 시스템이 바뀔 때 갱신하세요. 위협 모델링 지침.

이슈에서 PR로 이어지는 가상의 작업 흐름에서는 다음 연결을 그리세요.

이슈 → 에이전트 → 저장소 → 테스트 실행기 → 아티팩트 저장소 → 배포

모델 제공자와 비밀 정보 저장소를 추가하세요. 신뢰 수준이 낮은 출처에서 콘텐츠가 들어오는 지점을 표시하세요. 이슈 읽기에서 저장소 파일 쓰기로 넘어가는 것처럼 ID가 새로운 작업 권한을 얻는 지점도 표시하세요.

애플리케이션 구성도만으로는 개발 위험 전체를 볼 수 없습니다. 프로덕션 데이터베이스가 비공개여도 CI 작업이 자격 증명을 노출할 수 있습니다. 임시 환경과 지원 목적의 접근이 시나리오에 영향을 준다면 포함하세요.

‘AI가 안전하지 않을 수 있다’ 같은 항목을 피하세요. 행위자, 행동, 영향받는 자산, 결과를 적으세요. 시나리오가 발생하는 데 필요한 조건도 포함하세요.

이는 예시이며 완전한 위협 목록이 아닙니다. 데이터, 도구, 운영 환경에 따라 관련 시나리오가 달라집니다.

결과와 근거 있는 노출 가능성을 기준으로 우선순위를 정하세요. 숫자 점수가 실제보다 정밀한 판단인 것처럼 제시하지 마세요. 불확실성과 우선순위를 바꿀 수 있는 증거를 기록하세요.

대응에는 위험한 기능 제거, 범위 축소, 통제 추가, 명시된 잔여 위험 수용 등이 있습니다. 위험 수용에는 권한 있는 담당자와 이유가 필요합니다. 검토되지 않은 에이전트의 결론이어서는 안 됩니다.

선택한 대응을 관찰 가능한 인수 조건이 있는 작업으로 바꾸세요. ‘에이전트 보안 개선’은 검증하기 어렵습니다. ‘테스트 작업이 프로덕션 비밀 정보를 읽을 수 없음’은 확인할 수 있는 경계를 정합니다.

새 커넥터, 모델 연결 경로, 환경, 권한은 위협 모델을 바꿀 수 있습니다. 이런 변경을 검토 계기에 포함하세요. 사고와 실패한 평가도 가정을 갱신하는 데 활용하세요.

위험 검토 실습에서 시나리오의 데이터, 권한, 사용자 범위, 복구 조건을 바꿔 보세요. 결과는 검토할 질문을 제안합니다. 특정 시스템의 위협 모델을 대체하거나 작업을 허가하지는 않습니다.