인간 수학자, 반례 찾기에서 AI에 추월당하다 — 세 난제와 Lean 검증 흐름 한 번에 정리

최근 몇 주 사이 ChatGPT와 Claude 계열 모델이 수학의 난제 세 가지에서 반례를 만들어냈다. Erdős의 단위 거리 추측, Grothendieck의 군 스킴 질문, Jacobian Conjecture까지 — 그중 일부는 Lean으로 정형 검증까지 마쳤다. 인간 수학자가 수십 년 동안 붙잡고 있던 문제의 문을 AI가 한 줄씩 두드리기 시작한 것이다. 이번 글에서는 현상 자체를 정리하고, 개발자/연구자에게 남기는 시사점을 짚는다.

무슨 일이 있었나 — 세 문제, 한 달 사이

2026년 7월, OpenAI의 GPT-5.6 Sol Ultra와 Anthropic의 Claude Fable 5 계열 모델이 거의 동시에 세 수학 난제에서 반례를 제출했다.

• Erdős 단위 거리 추측 — 가장 오래된 조합 기하 문제 중 하나로, 기존에는 작은 차원에 대해서만 부분 결과가 있었다. 모델은 평면 위 1이 아닌 거리로 표현 가능한 점 개수의 하한을 끌어내렸다.
• Grothendieck의 군 스킴 질문 — 스킴 이론 깊은 곳에서 나오는 질의로, 모델은 4차원 이하 군 스킴의 분류에서 기존에 알려지지 않은 반례 구조를 제시했다.
• Jacobian Conjecture — 1939년提出的 다항식 역함수 문제. 모델은 변수 차수가 높은 경우 반례 형태를 구성했고, 일부 구성은 Lean 4로 그대로 옮겨졌다.

특히 인상적인 부분은 Erdős 추측의 경우 Lean으로 검증된 120만 줄짜리 증명이 동반됐다는 점이다. OpenAI의 Sol은 3주 동안 추측과 그 주변 정리들을 Lean 라이브러리에 차곡차곡 입력했고, 그 과정에서 필요한 유체역학 결과를 자동으로 호출하며 무결성을 유지했다.

LLM은 어떻게 반례를 찾는가

흥미로운 건 모델들이 "수학자처럼" 사고한 게 아니라 탐색-실패-재구성 루프를 자동화했다는 점이다. 다음은 그 단순화된 의사 코드다.

def search_counterexample(statement, max_attempts=200):

for attempt in range(max_attempts):
1) 후보 구성: LLM이 문제 도메인에 맞는 수학 객체 생성
candidate = llm.generate_objective(statement)
2) Lean 4로 기계 검증 — 1초 안에 결론
verdict = lean.verify(statement, candidate)
if verdict == 'counterexample':
return candidate
3) 실패 피드백을 다음 시도의 컨텍스트로 다시 주입
history.append((candidate, verdict))
return None

이 패턴은 사람이 whiteboard 앞에서 "조금씩 바꿔가며 시도"하는 작업을 그대로 자동화한 것이다. 모델은 어떤 실패가 어떤 다음 시도로 이어지는지를 단기 컨텍스트와 검색 트래버설로 학습해간다. 그리고 마지막에 Lean이 문법 오류 하나 없이 통과해 주면, 그게 "검증된 반례"가 된다.

여전히 남아 있는 벽

다만 흥분만 할 일은 아니다. AI가 잘하는 영역과 여전히 약한 영역이 뚜렷이 갈린다.

잘하는 영역	아직 약한 영역
구성적 반례 탐색 (작은 차원)	발견적 직관 (왜 그 방향이 통할까)
기계 검증 가능한 형식화	구조적 통찰 (정수론 ↔ 위상 연결)
대규모 라이브러리 검색	수학자의 동시대적 맥락 파악
실패 패턴의 자동 메모리화	비공식 증명 스케치의 미적 판단

특히 발견적 통찰은 여전하다. "어떤 종류의 반례가 있을 법한가"를 묻는 질문에는 여전히 인간이 우위다. 이번 달에 제출된 반례들도 결국 "이 방향으로 시도해 볼 만하다"는 누군가의 가설 위에서 나왔다.

연구자/개발자를 위한 실전 팁

1. Lean 4 환경을 기본으로 깔아두자. 모델이 제출한 후보를 사람이 직접 검증하는 시간이 수 시간 → 수 분으로 줄어든다. lake 패키지 매니저와 Mathlib만 준비하면 충분하다.
2. 검색 트래버설 코드를 자체 도구로 두자. 모델 API만 두드리면 비용이 빠르게 늘어난다. 사설 LLM(Qwen 3.8, Kimi K3)에 검증기는 Lean 클라우드 인스턴스로 분리하는 게 가성비 좋다.
3. 실패 피드백 루프를 짧게 유지하자. 한 번 시도 → 검증 → 피드백 주기가 길어질수록 모델은 같은 실수를 반복한다. 1라운드 ≤ 90초가 권장 사이클이다.
4. "반례 발견"과 "반례 증명"을 구분하자. 전자는 LLM + 검색, 후자는 Lean 4가 더 강점을 보인다. 두 시스템을 직렬로 묶으면 효과적이다.
5. 수학적 질문은 도메인 명시와 함께. 어떤 분야의 어떤 추측인지 컨텍스트가 길수록 첫 시도의 성공률이 올라간다.

앞으로의 전망

"AI가 수학의 난제를 풀었다"는 식의 헤드라인을 단순 자극으로만 보면 안 된다. 이번 달 사례가 보여주는 건 AI가 수학자처럼 사고하기 시작했음이 아니라 수학의 일부 작업 — 특히 반례 탐색 — 이 Turing-완전 도구의 손에 들어맞는 모양새임이다. 증명의 방향을 잡고, 결과를 사회적으로 평가하고, 다음 질문을 던지는 일은 여전히 사람 손에 남아 있다. 다만 그 사람의 손에는 이제 Lean과 LLM이 한 자루씩 더 쥐어져 있다.

개발자에게 남기는 메시지는 명확하다. "수학 잘하는 AI"는 더 이상 과장 광고가 아니다 — 적어도 좁은 영역에서는. 그래서 Lean 환경과 검색 파이프라인을 익혀둘 가치가 충분하다.

핵심 요약

• ChatGPT, Claude 계열 모델이 한 달 사이 Erdős, Grothendieck, Jacobian 세 난제에서 반례를 제출했고 일부는 Lean으로 검증됨.
• 성공 요인은 탐색-검증-피드백 루프의 자동화이지, 모델의 영감 같은 것이 아님.
• 여전히 약한 영역: 발견적 직관, 구조적 통찰, 비공식 판단 — 연구자의 가설 제시가 여전히 무기.
• 실전 팁: Lean 4 환경 준비 + 사설 LLM + Lean 클라우드 분리 + 짧은 피드백 루프 + 도메인 명시 프롬프트.
• AI는 "수학자"가 아니라 "수학 탐색 도구"로 자리 잡는 중 — 2026년 하반기 기준 가장 빠른 분야 중 하나.

---

📰 원본 출처 · https://news.hada.io/topic?id=31656 (#N=31656)

이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.