AI 에이전트가 되묻거나 검색할지 말지를, 정보 이득 대비 비용으로 계산하게 만드는 방법
AI 에이전트가 되묻거나 검색할지 말지를, 정보 이득 대비 비용으로 계산하게 만드는 방법
사용자가 조건을 빠뜨렸을 때 AI 에이전트는 기본값으로 밀어붙이거나, 되묻거나 검색해서 토큰을 쓸지 고민한다. 이 논문은 이 선택을 능동적 추론이라는 틀로 정리해, 다음에 할 행동이 불확실성을 얼마나 줄여줄지와 그 비용을 함께 계산하는 규칙을 세운다. GPT-5, Gemini 2.5 Pro 등 7개 최신 언어모델로 스무고개 형식의 벤치마크와 프롬프트 실험을 통해 이 규칙이 실제로 얼마나 효율적으로 작동하는지 측정했다.
METAL MEDIA 해설 도표
AI 에이전트가 되묻거나 검색할지 말지를, 정보 이득 대비 비용으로 계산하게 만드는 방법
- 01사용자가 조건이나 선호를 말하지 않았을 때, 되묻기·검색·도구 호출·프롬프트 시도 같은 '맥락 확보 행동'을 할지, 아니면 기본값으로 바로 답할지를 하나의 수식으로 계산하는 틀을 제시했다
- 02내부 단계에서는 답변을 들었다고 가정하고 믿음을 갱신하고, 외부 단계에서는 맥락 확보 행동·과제 수행 행동·중단 중 어느 것이 기대 자유 에너지(위험과 정보 가치와 비용을 합친 점수)를 가장 낮추는지 고른다
- 03정답이 결정적으로 정해지는 상황에서는 이 계산이 '기대 정보 이득'이라는 값으로 단순해지며, 이를 토큰 비용으로 나눠 정규화할 수도 있다
- 0425개에서 300개 후보 중 정답을 맞히는 스무고개 형식 벤치마크(OQA)를 만들고, 정확한 정답 확률과 최적 질문 순서를 계산해주는 동적계획법 오라클과 GPT-5, GPT-4.1, Gemini 2.5 Pro, Gemini 2.0 Flash, Claude Sonnet 4.5, Claude Haiku 4.5, Grok 4를 비교했다
- 05제품 설명 작성 전 몇 번 되묻는 실험과, 정해진 토큰 예산 안에서 여러 프롬프트 후보 중 최선을 찾는 실험도 함께 진행해, 실제 최적 지점은 기준선(질문 없음, 0.0417 통과율, 약 112토큰) 대비 219토큰으로 0.375 통과율을 달성하는 지점이었다
무엇을 했나
- 사용자가 조건이나 선호를 말하지 않았을 때, 되묻기·검색·도구 호출·프롬프트 시도 같은 '맥락 확보 행동'을 할지, 아니면 기본값으로 바로 답할지를 하나의 수식으로 계산하는 틀을 제시했다
- 내부 단계에서는 답변을 들었다고 가정하고 믿음을 갱신하고, 외부 단계에서는 맥락 확보 행동·과제 수행 행동·중단 중 어느 것이 기대 자유 에너지(위험과 정보 가치와 비용을 합친 점수)를 가장 낮추는지 고른다
- 정답이 결정적으로 정해지는 상황에서는 이 계산이 '기대 정보 이득'이라는 값으로 단순해지며, 이를 토큰 비용으로 나눠 정규화할 수도 있다
- 25개에서 300개 후보 중 정답을 맞히는 스무고개 형식 벤치마크(OQA)를 만들고, 정확한 정답 확률과 최적 질문 순서를 계산해주는 동적계획법 오라클과 GPT-5, GPT-4.1, Gemini 2.5 Pro, Gemini 2.0 Flash, Claude Sonnet 4.5, Claude Haiku 4.5, Grok 4를 비교했다
- 제품 설명 작성 전 몇 번 되묻는 실험과, 정해진 토큰 예산 안에서 여러 프롬프트 후보 중 최선을 찾는 실험도 함께 진행해, 실제 최적 지점은 기준선(질문 없음, 0.0417 통과율, 약 112토큰) 대비 219토큰으로 0.375 통과율을 달성하는 지점이었다
| Aspect | Generic RL view | Active-inference view used here |
|---|---|---|
| Control | Optimize actions for return under the sampled or observed data stream. | Choose actions that also determine what evidence arrives next. |
| Exploration | Usually added through bonuses, entropy, optimism, or posterior sampling. | Appears directly as epistemic value in expected free energy. |
| Belief and queries | Beliefs may be implicit in a value function, recurrent state, or model posterior. | An explicit posterior over intent, target, or best prompt makes queries first-class actions. |
| Evaluation | Return, regret, accuracy, or reward-model score. | Entropy drop, oracle gap, bits per token, and final task success. |
왜 중요한가
챗봇이나 에이전트가 모호한 요청 앞에서 무작정 되묻거나 무작정 추측하는 대신, 언제 얼마나 물어야 남는 장사인지를 수치로 판단하게 만들 근거가 된다. 토큰 비용이 실제 돈으로 이어지는 상용 AI 서비스에서 이 판단 기준은 비용 절감과 정확도 유지를 동시에 노리는 설계 원칙으로 쓰일 수 있다.
이 논문의 용어
- 능동적 추론(active inference) · 불확실성을 줄이는 행동과 목표 달성 행동을 함께 계산해 최적 행동을 고르는 이론적 틀
- 기대 자유 에너지(expected free energy) · 위험, 정보 가치, 비용을 합쳐 다음 행동의 좋고 나쁨을 점수로 매기는 값
- 기대 정보 이득(expected information gain) · 어떤 행동을 했을 때 불확실성이 얼마나 줄어들 것으로 예상되는지를 나타내는 값
- OQA(Optimal Question Asking) · 숨겨진 정답을 스무고개처럼 질문으로 좁혀가며 맞히는 이 논문의 벤치마크
- 동적계획법 오라클(DP oracle) · 주어진 규칙 안에서 이론상 가장 적은 질문 수로 정답을 맞히는 최적 전략을 미리 계산해 둔 비교 기준
최신 논문
- AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다
- 논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기
- 고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법
- 로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다
- 에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법
- AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다
- AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다
- AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다
METAL MEDIA 최신 기사
그림 출처: Sanchayan Dutta et al., arXiv:2608.19202, arxiv-nonexclusive