어시스턴트, 에이전트, 권한

시스템이 어떻게 작업하는지 확인하세요

어시스턴트는 코드를 설명하고 계획이나 구현을 제안할 수 있습니다. 에이전트는 도구를 사용해 환경에 작업할 수도 있습니다. 제품 이름만으로는 경계를 신뢰할 수 없습니다. 일부 채팅 인터페이스는 명령을 실행합니다. 일부 코딩 도구는 텍스트만 제안합니다.

사용 가능한 도구를 살펴보세요. 시스템이 무엇을 읽고, 바꾸고, 실행하고, 게시할 수 있는지 설명해야 합니다. 각 작업에 쓰이는 자격 증명과 환경도 밝혀야 합니다.

Anthropic은 미리 정의된 작업 흐름과 도구 사용 순서를 스스로 선택하는 에이전트를 구분합니다. 이 구분은 작업이 진행되는 방식을 설명하는 데 도움이 됩니다. 특정 작업의 안전성을 결정하지는 않습니다. 두 설계 모두 명시적인 권한 경계가 필요합니다.

“청구서 내보내기를 수정하세요”라는 가상 요청을 생각해 보세요. 에이전트는 저장소를 조사하고 결함을 재현하고 브랜치를 수정하고 검사를 실행할 수 있습니다. 환경에서 프로덕션 데이터베이스의 자격 증명을 발견할 수도 있습니다.

목표가 사용 가능한 모든 작업을 허용하지는 않습니다. 프로덕션 테이블 읽기, 청구서 레코드 변경, 새 버전 배포는 결과가 다릅니다. “작업을 완료하세요” 같은 포괄적인 지시로는 조직이 어떤 작업을 허용하는지 알 수 없습니다.

작업 전에 경계를 정하세요. 이 예에서 에이전트는 가상 데이터와 로컬 데이터베이스를 사용할 수 있습니다. 풀 리퀘스트를 만들 수도 있습니다. 프로덕션 레코드에 접근하거나 변경을 배포할 수는 없습니다. 그런 작업은 별도 릴리스 절차에서 처리합니다.

지침은 에이전트가 작업을 이해하도록 돕습니다. 자격 증명과 접근 통제는 에이전트가 실제로 할 수 있는 일을 결정합니다. 둘 다 사용하세요.

편리하다는 이유만으로 읽기 전용 작업에 쓰기 자격 증명을 주지 마세요. 테스트 환경이 모르게 프로덕션 접근을 상속해서도 안 됩니다. 도구, ID, 리소스의 연결 관계를 검토하세요. 무해해 보이는 명령도 강력한 ID로 실행하면 큰 영향을 줄 수 있습니다.

다음 작업이 권한을 넘으면 에이전트가 중단해야 합니다. 증거가 부족할 때도 중단 조건이 필요합니다.

청구서 예에서는 결함 수정에 프로덕션 데이터 변경이 필요하면 중단하세요. 요청된 동작이 문서화된 회계 규칙과 충돌해도 중단하세요. 관련 증거와 담당자가 내려야 할 결정을 포함해 충돌을 보고하세요.

반복 시도에는 시간이나 비용 한도가 유용합니다. 하지만 권한 경계를 대신하지는 못합니다. 허용된 시도 열 번과 허용되지 않은 배포 한 번은 다른 문제입니다.

완료 시에는 마지막 답변만 보지 마세요. 변경 파일, 실행된 검사, 남은 불확실성을 검토하세요. 작업이 합의된 범위 안에 있었는지 확인하세요.

유능한 에이전트는 수작업을 줄일 수 있습니다. 조직은 여전히 허용 작업을 정하고 중요한 결과를 검증하며 릴리스 결정을 책임져야 합니다. 자율성이 커질수록 이 책임은 더 중요해집니다.