에이전트 평가와 벤치마크
에이전트 평가가 질의응답 평가와 다른 점을 알아보고, SWE-bench·OSWorld·τ-bench·METR 작업 시간 지표의 내용과 해석할 때의 주의점을 정리한다.
에이전트 평가가 어려운 이유
- LLM 벤치마크는 대부분 질문 하나에 답 하나. 에이전트는 여러 단계에 걸쳐 도구를 쓰고 환경을 바꿈.
- 따로 필요한 것:
- 환경: 코드 저장소, 운영체제, 고객 데이터베이스처럼 행동할 수 있고 매번 같은 상태로 되돌릴 수 있는 공간.
- 채점: 최종 상태(테스트 통과, DB 상태)만 볼지, 과정(정책 위반)까지 볼지.
- 하네스(harness): 같은 모델도 도구·프롬프트·루프에 따라 점수가 크게 달라짐. 점수는 "모델 + 하네스"의 성적.
- 성공률 지표:
- pass@k: k번 중 한 번이라도 성공할 확률.
- pass^k: k번 모두 성공할 확률. 고객 응대처럼 매번 잘해야 하는 일의 신뢰성.
주요 벤치마크
| 벤치마크 | 환경 | 측정하는 능력 | 채점 |
|---|---|---|---|
| SWE-bench Verified·Pro | 코드 저장소 | 이슈를 읽고 패치 작성 | 숨긴 테스트 통과 |
| OSWorld | 운영체제 화면 | GUI 조작으로 컴퓨터 작업 | 최종 파일·설정 상태 |
| τ-bench | 고객 대화 + 업무 API | 정책을 지키며 도구 사용, 신뢰성 | 최종 DB 상태, pass^k |
- SWE-bench(2023): GitHub 파이썬 저장소의 실제 이슈 2,294개. Verified(2024)는 사람이 검토한 500개 부분집합으로 코딩 에이전트의 대표 지표가 됨.
- 2026-02 OpenAI는 Verified 성적 보고를 중단: 정답 패치의 학습 데이터 오염, 올바른 풀이도 떨어뜨리는 결함 있는 테스트. 대안으로 일부 문제를 공개하지 않은 SWE-bench Pro 권장.
- OSWorld(2024): 실제 운영체제에서 브라우저·오피스 등을 화면을 보며 조작하는 과제 369개.
- 발표 당시 사람 72.36%, 최고 모델 12.24% → 2026년 리더보드 상위 기록은 85-90%로 사람 기준을 넘음. 2026-06 더 어려운 OSWorld 2.0 공개.
- τ-bench(2024): LLM이 흉내 낸 고객과 대화하며 업무 API와 정책 문서로 일을 처리(소매·항공). 이번 주 실습의 고객 지원 에이전트와 같은 종류의 과제.
- 발표 당시 gpt-4o의 소매 영역 pass^8은 25% 미만. 한 번은 잘해도 매번 잘하기는 어려움.
- τ²-bench(2025): 고객도 도구로 자기 기기를 조작하는 이중 제어(dual-control) 환경. 에이전트가 고객을 안내하는 능력까지 평가.
출처: Jimenez 외(2023), SWE-bench; OpenAI(2026), Why we no longer evaluate SWE-bench Verified; Xie 외(2024), OSWorld, OSWorld 리더보드(2026-11-01 확인); Yao 외(2024), τ-bench; Barres 외(2025), τ²-Bench.
METR 작업 시간 지표
- 50% 작업 시간 지표(50% time horizon): AI가 50% 확률로 해내는 과제를 사람 전문가가 하면 걸리는 시간.
- 예: 2시간이면 "사람이 2시간 걸리는 소프트웨어·연구 과제를 절반쯤 성공". AI가 2시간 동안 혼자 일한다는 뜻이 아님.
| 모델(출시) | 50% 작업 시간 | 80% 작업 시간 |
|---|---|---|
| GPT-4(2023-03) | 4분 | 1분 미만 |
| Claude 3.7 Sonnet(2025-02) | 1시간 | 12분 |
| GPT-5(2025-08) | 3.4시간 | 38분 |
| Claude Opus 4.6(2026-02) | 12.0시간 | 70분 |
- Time Horizon 1.1 기준. 2023년 이후 약 4개월마다 두 배.
- 해석할 때 주의:
- 하네스 결과: METR의 에이전트 실행 틀로 측정. 모델이 하네스를 잘 쓰게 된 것이 긴 작업을 해내는 이유(Breunig, 2026; 12주 하네스 엔지니어링).
- 80% 기준으로는 시간이 훨씬 짧음. 믿고 맡길 수 있는 길이는 50% 수치보다 짧음.
- 명확하게 채점되는 소프트웨어·연구 과제 중심. 다른 업무로 바로 옮길 수 없음.
출처: Kwa 외(2025), Measuring AI Ability to Complete Long Software Tasks; METR, Time Horizons(2026-11-01 확인); Drew Breunig(2026), The State of Context Engineering.
벤치마크를 읽는 법
- 포화: 사람 기준을 넘으면 차이를 구분하지 못해 새 버전으로 교체(OSWorld).
- 오염: 공개된 문제는 언젠가 학습 데이터에 들어감(SWE-bench Verified).
- 하네스 차이: 하네스·시도 횟수·추론 강도를 함께 확인. 업체 발표와 공식 리더보드 수치가 다를 수 있음.
- 들쭉날쭉한 미개척지: 평균 점수만으로 내 작업의 성공을 예측할 수 없음(프롬프트 엔지니어링의 Jagged Frontier).
- 결국 내 업무에 맞는 평가 세트가 필요. 실습의 고객 지원 에이전트라면 문의 유형별 과제, 정답 상태, 여러 번 실행한 pass^k로 직접 측정.
퀴즈
고객 응대 에이전트처럼 매번 성공해야 하는 일의 신뢰성을 보기에 적합한 지표는?
퀴즈를 풀려면 대화형 기능을 불러와야 합니다.