GPT-5.5, MIT 라이선스 GLM-5.2보다 환각률 3배 — 1,500억 파라미터가 이긴 이유

!GPT-5.5, MIT 라이선스 GLM-5.2보다 환각률 3배

2026년 6월 현재 대형 언어 모델(LLM) 업계에서 가장 뜨거운 화제 중 하나는 "모델 크기가 정말 성능을 결정하는가"라는 오래된 질문에 대한 새로운 데이터입니다. Artificial Analysis의 AA-Omniscience 벤치마크에서 MIT 라이선스 오픈 웨이트 모델 GLM-5.2가 환각률 28%로 1위를 기록했고, 같은 테스트에서 GPT-5.5는 환각률 86%로 3배 가까운 격차를 보였습니다. 753B 파라미터의 GLM-5.2가 1.5~2배 더 큰 폐쇄형 모델들을 제쳤다는 점은 단순한 벤치마크 우위가 아니라, LLM 확장 전략의 한계를 시사하는 사례로 주목받고 있습니다.

!LLM 환각률 벤치마크 비교

모델 확장의 환상 — 무한 스케일링은 끝났나

대형 AI 연구소들 사이에서 파라미터 수와 학습 데이터 확장으로 성능을 계속 끌어올리려는 접근에 대한 회의가 커지고 있습니다. Claude Fable 5가 출시 3일 만에 미국 정부에 의해 제한된 사건은 단일 jailbreak 위험 때문에 세계 최대급 모델 중 하나가 금지된 첫 사례로, 확장 패러다임의 구조적 한계를 상징합니다. OpenAI와 xAI 같은 회사들의 가치평가가 끝없는 모델 확장에 크게 기대고 있다는 점에서, "확장이 정체 국면에 진입했다"는 관측은 업계 전반의 투자 전략까지 흔들 가능성을 내포합니다.

AA-Omniscience 환각률 지수 — 5개 모델 직접 비교

| 모델 | 파라미터 | 활성 파라미터 | AA Intelligence Index | 환각률 |

|------|----------|---------------|----------------------|--------|

| GLM-5.2 (Z.ai, MIT) | 753B | 40B | 40점 | 28% |

| Opus 4.8 | 추정 1.5T+ | — | 50점 | 36% |

| Fable 5 | 1.2T+ | — | 49점 | 48% |

| GPT-5.5 | 1.5T+ 추정 | — | 44점 | 86% |

| DeepSeek V4 Pro | 1.6T | 49B | 44점 | 94% |

놀라운 점은 환각률과 모델 크기 사이에 명확한 비례 관계가 없다는 사실입니다. GLM-5.2는 매개변수가 두 배인 DeepSeek V4 Pro보다 환각률이 3배 이상 낮고, DeepSeek V4 Flash는 GLM-5.2의 절반도 안 되는 크기인데 AA-Omniscience 환각 지수에서 1위를 기록했습니다. 이는 "더 큰 모델 = 더 똑똑한 모델"이라는 등식이 더 이상 성립하지 않는다는 강력한 반증입니다.

Python 테스트로 본 계산 효율 — 추론 토큰의 거짓말

GLM-5.2와 DeepSeek V4 Pro를 동일한 Python 코딩 테스트로 비교한 결과는 더 흥미롭습니다. 두 모델 모두 high reasoning effort, temperature 1, 동일한 시스템 프롬프트("You respond professionally...")로 OpenRouter를 통해 테스트되었습니다.

DeepSeek V4 Pro의 실패 — 3분 52초 동안 7.7k reasoning tokens를 쓰고도 틀림

• 소요 시간: 3분 52초
• reasoning tokens: 약 7,700개
• 결과: 확신에 찬 잘못된 답 생성
• 성능 점수: AA Intelligence Index 44점 (높음)

GLM-5.2의 성공 — 12초, 800 tokens로 불가능성 정확히 짚어냄

• 소요 시간: 12초
• reasoning tokens: 약 800개
• 판단: "single-threaded task가 yielding이나 system polling 없이 multiplexed I/O를 수행하는 것은 기술적으로 불가능"
• 결과: 정확히 기술적 결함을 지적

reasoning budget, 말뭉치 크기, 파라미터 수를 무작정 늘리면 계산 자원은 낭비되고 그럴듯한 오답을 만들 위험만 커집니다. raw capability, uncertainty calibration/hallucination rate, computational efficiency 세 지표를 함께 평가하지 않으면 모델 선택 자체가 의미 없어집니다.

환각률의 진짜 의미 — 모를 때 "모른다"고 말할 수 있는가

대량의 사실적이고 비이론적인 데이터로 학습된 모델은 모를 때도 답을 내는 방향으로 강화됩니다. DeepSeek V4 Pro의 94% 환각률은 "답을 찾지 못한 질문에서 '모른다'고 말한 비율이 약 6%에 그쳤고, 나머지는 확신 있게 잘못된 답을 냈다"는 의미입니다. 이 수치는 단순한 성능 저하가 아니라 모델이 자신의 무지를 인식하지 못하는 근본적 한계를 드러냅니다.

절대 환각률 계산 — 정확도와 분리된 지표

환각률 점수는 모델이 답을 모르는 경우를 조건으로 한 값이기 때문에 해석이 까다롭습니다. 일상 사용에서 환각을 마주칠 확률은 모델이 답을 모를 확률과 사용자의 작업 분포가 평가 분포와 얼마나 맞는지에 모두 달려 있습니다. Opus 4.8과 GLM-5.2를 절대 환각률로 재계산하면:

• Opus 4.8: 정확도 47%, 환각률 36% → 절대 환각률 19%
• GLM-5.2: 정확도 25%, 환각률 28% → 절대 환각률 21%

즉 상대 환각률만 보면 GLM-5.2가 더 좋아 보이지만, 절대 환각률로 따지면 두 모델이 거의 동등합니다. "어떤 모델이 환각을 더 잘 다루는가"라는 질문은 모델의 정확도와 분리해서 따져봐야 의미 있는 답이 나옵니다.

왜 큰 모델은 환각에 더 취약한가 — RLHF 편향과 공포 기관의 부재

사람은 평생 현실 세계에서 답을 모르는 질문을 마주치며 학습했고, 답을 모른다거나 확실하지 않다는 걸 매우 빠르게 평가하는 법을 배웠습니다. 인간 뇌에는 편도체가 있어 공포 신호를 만들고, 그 결과 우리가 말하는 것에 훨씬 더 조심해집니다. 반면 LLM에는 편도체 같은 공포 기관이 없고, 학습 말뭉치의 패턴에 따라 응답하는 법만 배웁니다. 틀린 답을 해서 체면을 구기거나 해고될까 "두려워"하지 않으므로 완전히 틀린 답도 신나게 내놓습니다.

책과 잘 큐레이션된 말뭉치는 답이 없는 질션을 거의 다루지 않습니다. 큐레이션 과정에서 저자가 답을 갖고 있지 않은 질문은 논의에서 빠지기 때문입니다. RLHF(Reinforcement Learning from Human Feedback) 동안 연구소들은 해답이 있고 흥미로운 답을 내는 질문에 편향되어 있고, 좋은 답이 없는 "나쁜" 질문은 과소대표했습니다. 모델이 모른다고 인정해야 하는 질문에는 RLHF 노력을 덜 들였을 가능성이 큽니다.

OpenAI 확장 법칙의 역사 — 수확 체감은 이미 알려진 사실

"더 큰 모델은 성과가 정체된다"는 주장은 새로운 것이 아닙니다. OpenAI의 확장 법칙(scaling laws) 연구도 몇 년 전부터 매개변수 수와 학습 데이터량의 수확 체감을 보여줬습니다. 다만 이번 GLM-5.2 데이터는 그 수확 체감이 환각률이라는 새로운 차원에서 가시화되었다는 점에서 의미가 큽니다. 모델이 매우 사실적이고 비이론적인 대량 데이터로 학습되면 항상 답을 내는 법을 배우고, 이는 곧 더 많은 환각으로 이어진다는 메커니즘이 명확하게 드러난 것입니다.

모델 선택의 새로운 기준 — 파라미터 수에서 균형 지표로

이번 데이터가 시사하는 가장 실용적인 교훈은 모델 선택 시 파라미터 수나 이론 성능만으로 판단하면 안 된다는 점입니다. 1,500억 파라미터의 GLM-5.2가 1.6T 파라미터의 DeepSeek V4 Pro를 환각률 3배 차이로 이겼고, 계산 효율성은 30배 이상(12초 vs 3분 52초, 800 tokens vs 7,700 tokens) 차이로 더 우월했습니다.

실무자를 위한 모델 평가 체크리스트

def evaluate_llm(model, benchmark_suite):
    """
    LLM 평가 시 확인해야 할 3가지 핵심 지표
    """
    metrics = {
        "raw_capability": benchmark_suite.aa_intelligence_index,
        "hallucination_rate": benchmark_suite.aa_omniscience_hallucination,
        "computational_efficiency": {
            "tokens_per_correct_answer": model.tokens_used / model.correct_count,
            "seconds_per_correct_answer": model.elapsed / model.correct_count
        }
    }
    
    # 3개 지표 모두 검토해야 함
    # raw_capability만 보면 GLM-5.2 (40점) < Opus 4.8 (50점)
    # hallucination_rate로 따지면 GLM-5.2 (28%) << Opus 4.8 (36%)
    return metrics

실무에서 LLM API를 선택할 때는 라이선스, 가격, 컨텍스트 윈도우뿐 아니라 환각률과 추론 토큰 효율성을 반드시 확인해야 합니다. 특히 코딩 에이전트처럼 코드를 생성하는 작업에서는 "모르겠다"고 솔직히 말할 수 있는 모델이 그럴듯한 오답을 자신 있게 뱉는 모델보다 훨씬 안전합니다.

LLM 환각의 본질 — RLVR로도 해결되지 않는 구조적 문제

"모르겠다"를 유효한 답으로 학습시키는 것은 생각보다 훨씬 어렵습니다. 거의 모든 벤치마크가 정답이면 1점, 나머지는 0점으로 정확도를 측정하기 때문입니다. 확신이 10%인 질문 100개에 전부 "모르겠다"라고 답하면 0점이지만, 전부 자신 있게 답하면 기대값이 10점입니다. 그래서 대부분의 AI는 그렇게 학습됩니다. 무작위 추측이 모든 질문에 "모르겠다"라고 답하는 것보다 평균 점수가 낮아지는 벤치마크는 AA-Omniscience 같은 극소수 사례에 불과합니다.

RLVR(Reinforcement Learning with Verifiable Rewards)로 "모르겠다"를 겨냥하기 쉬운 문제처럼 보일 수 있지만, 한 연구자의 실험에 따르면 MS-MARCO 데이터셋 100만 샘플로 SFT, DPO, GRPO 등 다양한 기법을 시도해도 환각이 줄지 않고 오히려 훨씬 나빠졌습니다. 모델은 답이 실제로 있어도, 또는 애초에 검색 결과가 필요 없는 간단한 질문(예: X+Y 같은 문제)에서도 "No answer present"라고 주장하기 시작했습니다. 현재 구조에서는 열린 영역 작업에서 환각이 영원히 남을 가능성이 있습니다.

향후 전망 — LLM의 진화 방향

이번 사건은 LLM에 별도의 "편도체" 같은 기관을 만들 가능성을 다시 한번 환기시켰습니다. 그 기관이 사용자 프롬프트와 LLM의 사고 흔적을 바탕으로 비동기적으로 신호를 쏴서, LLM 추론에 공포 신호를 주입하고 더 안전한 답변으로 방향을 튼게 하는 구조입니다. 실용적인 대안으로 모델이 "모르겠다"를 더 자주 말하게 조정할 수 있지만, 그 경우 의미 있게 답할 수 있는 질문 일부도 거부하게 되고, 성능 비용이 발생합니다. 퇴화한 경우 모델이 항상 "모르겠다"를 예측하도록 붕괴할 수도 있어 균형 잡힌 학습 설계가 필수적입니다.

2026년 6월 기준으로 봤을 때, LLM 업계는 "확장의 시대"에서 "정밀화의 시대"로 전환되는 기로에 서 있습니다. MIT 라이선스 오픈 웨이트 모델이 폐쇄형 최고 모델의 환각률을 3배 차이로 이겼다는 사실은, 모델 크기보다 학습 데이터의 품질, 불확실성 보정 능력, 계산 효율성이 더 중요해지는 새로운 평가 기준의 시작을 알립니다. 실무에서 LLM을 선택할 때는 라이선스와 가격뿐 아니라 환각률과 추론 토큰 효율성을 반드시 따져봐야 하는 시점입니다.

핵심 요약

• GLM-5.2 (MIT, 753B) 환각률 28%로 5개 모델 중 최저 — GPT-5.5 (86%)의 1/3 수준
• Python 코딩 테스트에서 GLM-5.2는 12초·800 tokens로 정확히 불가능성 판정, DeepSeek V4 Pro는 3분 52초·7,700 tokens 소모 후 틀린 답
• 모델 크기와 환각률은 비례하지 않음 — DeepSeek V4 Flash는 GLM-5.2의 절반 크기인데 환각률 1위
• 환각률 점수는 "모를 때만" 측정한 값 — 절대 환각률로 환산하면 Opus 4.8은 19%, GLM-5.2는 21%로 거의 동등
• "모르겠다" 학습은 구조적으로 어려움 — MS-MARCO 100만 샘플로 SFT/DPO/GRPO 시도해도 환각이 더 나빠짐
• 실무 권장: 모델 선택 시 raw capability + hallucination rate + computational efficiency 3개 지표 동시 검토