GPT-5.6·Grok 4.5·Claude·Muse Spark, 같은 앱 4개를 만들게 했더니 — 12 모델 비교에서 드러난 솔·페이블의 선두

> 출처: tryai.dev — GN⁺ · 11시간 전 · 12개 모델에 레이캐스터 미로, 3D 루빅스 큐브, 계산기, Conway's Game of Life를 만들게 한 결과를 공개

한 줄 요약

tryai.dev의 저자는 GPT-5.6 Sol과 Claude Fable 5 가 복잡한 과제에서 가장 일관된 결과를 냈다고 정리합니다 — 4개 서로 다른 코딩 에이전트가 같은 4개 앱(레이캐스터 미로 / 3D 루빅스 큐브 / 계산기 / Conway's Game of Life) 을 만들도록 지시한 비교 실험의 결과입니다. 각 모델마다 과제별로 5회씩 시도했고, 성공 횟수·비용·시간·모든 결과물이 공개되었습니다.

배경 — 왜 이 실험이 의미 있나

지금까지 LLM 코딩 능력 비교의 대부분은 HumanEval, SWE-bench, Aider Polyglot 같은 벤치마크로 진행됐습니다. 이런 벤치마크는 자동 채점이 가능하고 재현이 쉽다는 장점이 있지만, "문제 자체를 모델이 이해할 만큼 잘 정의할 수 있다" 는 가정에 의존합니다. 실제 프로덕션에서는 모델이 요구사항을 스스로 해석하고, 라이브러리 선택과 API 설계를 스스로 판단해야 합니다.

tryai.dev의 접근은 다릅니다. "12개 모델 × 4개 과제 × 5회 시도" — 총 240번의 실행 결과를 모두 공개한다는 전제로, 과제는 시각적이고 결과물이 즉시 검증 가능한 것으로 골랐습니다.

• 레이캐스터 미로 — 그래픽 출력 + 경로 탐색 알고리즘
• 3D 루빅스 큐브 — 상태 모델링 + 3D 변환 행렬
• 계산기 — 단순하지만 표현 파싱이 핵심
• Conway's Game of Life — 셀룰러 오토마타 + 시각화

각 모델은 "프롬프트를 보고 스스로 라이브러리를 고르고 코드를 짜라"는 단일 지시만 받았습니다.

결과 — GPT-5.6 Sol 과 Claude Fable 5 가 선두

저자는 다음 모델들을 비교했습니다:

| 모델 | 결과 평가 |

|---|---|

| GPT-5.6 Sol | 복잡한 과제 선두, 일관된 출력 |

| Claude Fable 5 | GPT-5.6과 선두를 나눔 |

| Grok 4.5 | 중간권, 일부 과제에서 단순화 경향 |

| Muse Spark | 창작 과제 강점, 코딩 일관성은 중간 |

과제별 양상

• 3D 루빅스 큐브: 카메라 회전·라이팅·상태 초기화 같은 3D 그래픽스 표준 패턴*을 모델이 얼마나 정확히 재현하는지 분리하는 과제. GPT-5.6과 Claude는 OpenGL/WebGL 기본 구조를 그대로 가져오는 안정적 패턴을 보였습니다.

• 레이캐스터 미로: 2D 그리드 + 벽 충돌 + 키 입력. 단순해 보이지만, "프레임워크 선택"이 결과를 가릅니다* — 파이썬 pygame, 자바스크립트 canvas, C++ SDL… 모델마다 선택이 달랐고, 같은 과제라도 결과의 완성도가 크게 갈렸습니다.

• Conway's Game of Life: 가장 짧게 끝낼 수 있는 과제지만, 셀이 살아있는지 시각적으로 직관적이여야* 한다는 비주얼 요구가 들어갑니다.

• 계산기*: 가장 단순. 4개 모델 모두 1~2회 시도에 통과. 차이가 거의 안 나는 구간입니다.

저자가 직접 내린 결론

> "이 결과는 과학적 평가가 아니라 생성물을 직접 살펴본 주관적 비교입니다."

tryai.dev는 SWE-bench 같은 벤치마크와 다른 두 가지를 명시합니다.

1. 채점 기준이 "잘 작동하는가"가 아니라 "당신이 보기에 충분히 완성되어 있는가".
2. 같은 코드를 5번 생성했을 때 결과의 분산.

저자는 "과제별로 5회 시도" 를 강제로 명시했습니다. LLM 코딩 능력 비교에서 한 번의 결과를 평균으로 다루면 운 좋은 한 번을 일반화하는 함정이 있기 때문입니다. GPT-5.6과 Claude Fable 5가 "선두를 나눠 가졌다" 고 표현한 것도, 4개 과제 중 3개에서 안정적이였다는 의미이며, 모든 과제에서 5/5 정답을 냈다는 뜻은 아닙니다.

시도해볼 만한 후속

• 5회 시도 대신 20회로 늘려 분산 가중 비교 — 표준편차가 가장 작은 모델이 진짜 선두
• "라이브러리 선택을 모델이 하라"는 제약을 풀고 라이브러리를 강제 — "그냥" GPT-5.6 vs "p5.js 쓰고" GPT-5.6 차이
• 사용자가 직접 비교 투표하는 블라인드 평가 — tryai.dev 결론의 주관성 보정

정리

tryai.dev의 실험은 클로즈드 벤치마크에서 잡히지 않는 LLM 코딩 능력의 실제 양상을 보여줍니다. GPT-5.6 Sol 과 Claude Fable 5 가 다양한 과제에서 안정적이였다는 결론 — 단, "안정적이였다" 는 단정적 해석은 위험합니다. 주관적 비교의 본질을 잊지 말아야 합니다.

• (이미지: AI 모델 A/B 비교 결과가 모눈종이 그래프로 정리된 모습)*

---

📰 원본 출처 · https://news.hada.io/topic?id=31342 (#N=31342)

이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.