일반 지식 시험(MMLU류)이 아니라, 실제 사내 ERP·고객센터 업무를 그대로 시킨 벤치. 사용자 질문 49바이트에, 모델은 매 턴 135KB를 읽고 도구 120개 중 맞는 하나를 골라야 한다.
① 요청 1건 해부 — 모델이 매 턴 읽는 것
사용자가 던진 질문은 49 B 뿐이다. 그런데 그 한 마디에 답하려고 모델이 매 턴 읽어 내리는 입력은 약 135KB — 그 82%가 도구 120개의 사용설명서다. 벤치의 난이도는 "얼마나 똑똑한가"가 아니라 "이 120개 설명서를 매번 다시 읽고 정확히 하나를 고를 수 있는가"에서 갈린다.
② 도구 120개 — 모델이 고르는 후보들
③ 실제 한 턴 — 정답 하나, 함정 여럿
④ BENCH-12 — 정확도의 분모(12케이스 · 17체크)
"정확도 10/12"의 12가 정확히 무엇인지. 단순 조회만이 아니라 확인게이트·환각가드·작업기억처럼 일부러 어려운 축을 섞었다. 케이스를 눌러 체크 조건을 펼쳐 보라.
출처: 실제 사내 에이전트 게이트웨이의 상류 요청 body 캡처(2026-07) · 도구 120개는 이 캡처 기준(핵심 ERP 74 · BI 15 · 파트너 ERP 13 · 내장 9 · VoC 6 · 브라우저 3). 도구 이름·설명은 회사·업종 식별을 피하려 일반 ERP 용어로 치환했다. 바이트 비율은 시스템 프롬프트 24KB + 도구 스키마 114KB + 사용자 49B 기준.
정리: nahz.org