AI 에이전트에게 '질문하는 법'을 가르치다 — MIT 배틀쉽 연구

배틀쉽 게임으로 AI 에이전트의 질문 능력 평가 (MIT CSAIL, 2026)

AI 에이전트에게 '질문하는 법'을 가르치다 — MIT 배틀쉽 연구가 보여준 것

2026년 6월, MIT CSAIL과 Harvard SEAS 연구진이 흥미로운 테스트베드를 공개했다. 고전 추리 게임 '배틀쉽(Battleship)'을 자연어 질문·응답 형태로 재구성해, AI 에이전트가 불확실한 환경에서 얼마나 똑똑한 질문을 던지는지를 측정한다는 아이디어다. 결론부터 말하면, 소형 모델이 적절한 추론 전략만 갖추면 GPT-5 같은 대형 모델을 약 1% 비용으로 앞질렀다. 이번 글에서는 이 연구가 시사하는 바와 개발자가 실무에 적용할 수 있는 시사점을 정리한다.

연구 배경: 잘 정의된 작업 너머의 AI 한계

현재 AI 에이전트는 고객 서비스, 소프트웨어 개발처럼 잘 정의된 작업에서는 높은 성능을 보인다. 하지만 의료 진단이나 과학 발견처럼 불확실성이 크고 가능한 해가 광범위한 분야에서는 여전히 헤맨다. 핵심은 "어떤 답을 줄까"가 아니라 "어떤 질문을 던져야 할까"에 있다.

MIT 연구진은 이 문제를 분석하기 위해 인지과학에서 인간의 정보 탐색 연구에 수십 년간 사용되어 온 배틀쉽을 채택했다. 게임 하나에 의사결정, 정보 이론, 추론이 모두 녹아있기 때문이다.

Collaborative Battleship과 BattleshipQA 데이터셋

기존 배틀쉽은 격자 위에 함선을 쏘는 액션 게임이지만, 연구진은 이를 자연어 대화로 재구성했다. 구성은 단순하다.

• 선장(captain): 숨은 함선 위치를 찾기 위해 질문을 던진다.

• 관측자(spotter): 함선 배치를 보고 있지만 직접 좌표를 말할 수 없다. 예/아니오로만 답한다.

40명 이상의 사람이 플레이하며 누적된 질문-응답 데이터가 바로 BattleshipQA 데이터셋이다. 이 데이터는 최신 대형 모델과 소형 모델을 평가하는 비교 기준으로 활용된다. 재미있는 결과는 이 데이터로 별도 학습하지 않고도, GPT-5 같은 최상위 모델은 사람보다 적은 턴 안에 게임을 끝냈다는 점이다. 반면 대부분의 소형 시스템은 비합리적인 질문을 반복하며 턴을 낭비했다.

핵심 기법 1: Monte Carlo 추론 전략

많은 모델이 유용한 질문을 만들어내지 못하는 게 핵심 문제였다. 연구진은 각 모델에 Monte Carlo 추론 전략을 부여했다. 작동 방식은 다음과 같다.

1. 가능한 모든 추측을 개별 입자(particle)로 다룬다.

2. 관측자의 예/아니오 답변을 받을 때마다, 더 타당해 보이는 추측에 가중치를 높이 부여한다.

3. 매 턴마다 부풀거나 줄어드는 게임 공처럼 작동해, 선장이 관측자로부터 최대한 많은 정보를 끌어내도록 한다.

결과는 인상적이었다. Llama 4 Scout는 사람 상대 승률이 8%에 불과했지만, 이 추론 전략을 적용한 후 82%까지 치솟았다. GPT-5를 능가하면서도 비용은 약 1% 수준이었다. 같은 기법을 적용한 다른 게임인 Guess Who?에서도 Llama 4 Scout는 30%에서 72% 이상으로, GPT-4o는 62%에서 90%까지 상승했다.

핵심 기법 2: Python auto-formalization

추측을 잘하는 것만으로는 부족하다. 관측자가 정확한 답을 줘야 선장이 다음 단계를 진행할 수 있다. 연구진이 발견한 흥미로운 사실은, GPT-5는 신뢰할 만한 관측자였지만 소형 모델은 함선 위치를 틀리게 답하는 습관이 있다는 점이었다.

해결책은 단순하면서도 강력했다. 선장의 질문을 자동으로 인코딩된 명령으로 변환해, 관측자 모델이 답을 검증하도록 유도하는 것이다. 예를 들어 "1열에 두 행에 걸친 함선이 있는가?"라는 자연어 질문을, Python 코드로 변환해 해당 영역을 탐색하고 폭을 평가하게 만들었다. 모델이 특히 잘 이해하는 Python 언어로 명확한 지시를 주니, 평균 정확도가 약 15% 상승했다. 경량 모델 GPT-4o-mini는 약 30%, 대형 모델 Claude 4 Opus도 약 8포인트 성능이 올라갔다. 이는 LM이 코드를 생성해 해를 검증하는 auto-formalization 전략이 잘 작동한다는 실증 사례다.

소형 모델이 큰 모델을 이긴다는 것의 의미

이 연구가 흥미로운 이유는 단순한 모델 성능 비교가 아니기 때문이다. 핵심 통찰은 "질문의 질"이 "답의 능력"보다 결정적일 수 있다는 점이다. 거대 모델이 학습 데이터에서 우연히 더 좋은 질문을 학습한 덕이 아니라, 구조적 추론 전략을 명시적으로 부여받았을 때 소형 모델도 동등하거나 더 나은 성능을 낼 수 있다는 가능성이 열렸다.

특히 needle-in-a-haystack — 광대한 선택지 속에서 희소한 해를 찾아야 하는 문제에서 이 접근은 큰 잠재력을 가진다. 신약 후보 분자 탐색, 희귀 질환 진단, 보안 취약점 식별 같은 실제 과학적 발견 과제에 그대로 응용할 수 있는 패턴이다.

실무에 적용할 수 있는 세 가지 시사점

1. 추론 전략을 명시적으로 모델에 부여하라

단순히 "더 똑똑한 모델을 써라"가 아니라, 질문 생성 알고리즘을 외부 모듈로 분리해 모델에 결합하는 패턴이 효과적이다. Monte Carlo 입자 필터링, 가중치 업데이트, Python 검증 같은 절차적 전략은 모델 크기와 무관하게 성능을 끌어올린다.

2. 자연어 → 코드 변환(auto-formalization)을 적극 활용하라

관측자나 보조 모델에게 자연어 지시를 줄 때는, 명령을 코드로 변환해 검증 가능하게 만드는 것이 정확도를 크게 끌어올린다. LM이 코드를 잘 이해한다는 점을 적극 활용하는 패턴은, 도구 사용(tool use), 데이터 분석, 검증 단계가 있는 모든 에이전트 워크플로우에서 유효하다.

3. 작은 모델 + 좋은 전략 ≒ 큰 모델 + 무전략

비용 제약이 큰 실무 환경에서는 소형 모델에 추론 전략을 결합하는 방식이 큰 모델을 그대로 쓰는 것보다 효율적일 수 있다. API 비용, 응답 지연, 컨텍스트 한계가 중요한 프로덕션 환경에서 우선 시도해볼 만한 접근이다.

남은 과제

Collaborative Battleship은 비교적 단순한 테스트베드다. 100개가 넘는 선택지를 동시에 고려해야 하는 실제 과학적 발견 문제에서는 추가 검증이 필요하다. 또한 사람과 AI의 협업 효과, 게임 시뮬레이션 기반 미세조정, 더 많은 연산 자원을 통한 고급 추론 같은 후속 연구도 예정되어 있다.

가장 본질적인 시사점은, 에이전트가 자율화될수록 공통 기반 추적, 오해 해소, 파트너 적응 같은 사회적 문제가 가장 어려워진다는 점이다. 최적의 질문을 계산하는 것뿐 아니라, 답을 최대한 활용하는 실용적 추론이 진짜 병목이라는 평가다. "무엇을 물을까"보다 "받은 답으로 무엇을 할까"가 더 어려운 시대가 오고 있다.

---

📚 출처

• 원본 기사: MIT News - Teaching AI agents to ask better questions by playing "Battleship"

• 긱뉴스: https://news.hada.io/topic?id=30163

• 참고 논문: Shoot First, Ask Questions Later? (arXiv 2510.20886)

---

📚 출처

• https://news.hada.io/topic?id=30163