증거로 모델을 선택하세요

결정할 대상을 정하세요

모델 비교에는 구체적인 용도가 필요합니다. 작은 함수를 잘 설명하는 모델이 큰 저장소 변경도 똑같이 잘 처리하지는 않을 수 있습니다. 반복적인 변환에는 저렴한 모델로도 품질 요구를 충족할 수 있습니다. 어려운 조사에는 더 뛰어난 추론 능력이 필요할 수 있습니다.

작업과 제약을 먼저 쓰세요. 허용 데이터, 필요한 도구, 응답 시간, 허용 가능한 최대 비용을 포함하세요. 일부 제약은 필수입니다. 다른 점수가 높다는 이유로 데이터 처리 제한을 평균 점수에 묻어 버리지 마세요.

팀이 실제로 하는 일에서 작은 평가 세트를 만드세요. 평가 환경이 해당 데이터에 승인되지 않았다면 민감한 데이터를 제거하세요. 간단한 작업, 어려운 작업, 누락된 정보를 요청하는 것이 정답인 작업을 포함하세요.

가상 보고 서비스에서는 알려진 날짜 결함, 작은 필터 기능, 인가 규칙 설명을 사용하세요. 비교를 실행하기 전에 기대 결과를 준비하세요. 알려진 결함이 있는 구현을 거부하는 테스트를 포함하세요.

일부 작업은 프롬프트 개발과 분리하세요. 모든 예시에 맞춰 프롬프트를 반복 조정하면 최종 점수가 일반적인 성능을 과장할 수 있습니다. 별도 세트는 개선된 프롬프트가 개발에 쓴 예시 밖에서도 작동하는지 보여 줍니다.

정확한 모델 버전, 프롬프트, 제공한 맥락, 도구, 권한을 기록하세요. 동등한 시작 상태를 사용하세요. 한 모델에 전체 저장소를 주고 다른 모델에 파일 하나를 주면 모델뿐 아니라 작업 흐름도 비교하게 됩니다.

작업 흐름 비교도 유용할 수 있습니다. 무엇을 비교했는지 정확히 표시하세요. 에이전트 제품에는 모델 외에도 여러 요소가 있습니다. 맥락 선택, 도구, 실행 제한, 복구 동작이 결과에 영향을 줄 수 있습니다.

출력의 변동이 중요하면 반복 실행하세요. 가장 좋은 결과만 보고하지 말고 실패한 시도도 기록하세요. 주관적인 기준에는 서면 평가 기준표를 쓰고 가능하면 검토자를 두 명 이상 두세요.

먼저 필수 인수 기준을 확인하세요. 변경이 요구사항을 충족하나요? 접근 통제를 유지하나요? 관련 테스트를 통과하나요? 검토자가 diff를 이해할 수 있나요?

그다음 허용 가능한 결과의 투입 시간, 경과 시간, 비용을 비교하세요. 재시도와 사람의 검토를 포함하세요. 싼 답변이라도 반복 수정이 필요하면 작업 전체 비용은 높을 수 있습니다.

공개 벤치마크는 후보를 찾는 데 도움이 됩니다. 특정 작업 세트와 채점 방법을 사용합니다. 벤치마크 점수를 팀 생산성의 직접 측정치로 보지 마세요.

결과는 좁은 권고여도 됩니다. 예를 들어 “기존 검토 요구사항을 유지하면서 이 저장소에 작은 테스트를 추가할 때 이 모델을 사용하세요”입니다. 모든 작업에 같은 모델을 쓸 필요는 없습니다.

재평가가 필요한 조건을 밝히세요. 모델 버전 변경, 다른 도구 구성, 새 데이터 범주, 반복되는 실패 패턴 등이 해당합니다. 선택한 모델의 능력을 넘는 작업에 대비해 대안을 유지하세요.

평가의 목적은 실제 결정의 불확실성을 줄이는 것입니다. 지원하려는 작업보다 더 많은 노력을 쓰는 끝없는 모델 경쟁은 피하세요.