펠리컨은 끝났다 — Karpathy가 던진 LLM 평가의 다음 질문

펠리컨은 끝났다 — Karpathy가 던진 LLM 평가의 다음 질문

한동안 인공지능 모델의 실력을 가늠하는 재미있는 방법으로 ‘자전거를 타는 펠리컨’ SVG를 그려 보라는 요청이 유행했습니다. 모델이 그럴듯한 도형을 만드는지, 다리와 바퀴의 관계를 이해하는지, 결과물을 수정해 가는지를 한 장의 그림으로 확인하는 방식이었습니다. 하지만 이제 이 테스트는 점점 포화되고 있습니다. 대부분의 최신 모델이 비슷하게 괜찮은 결과를 내기 때문입니다.

이런 변화와 맞물려 안드레이 카파시(Andrej Karpathy)는 단일 이미지보다 훨씬 긴 작업을 보자고 제안했습니다. 그가 공개한 사례에서 Anthropic의 Opus 5에게 《반지의 제왕》 첫 문단을 바탕으로 Three.js 장면을 만들고, 약 100만 토큰의 예산을 사용하도록 요청했습니다. 카파시의 설명에 따르면 모델은 약 두 시간 동안 작업하며 5,500줄가량의 코드를 작성했습니다.

그림 한 장에서 움직이는 세계로

완성된 결과는 완벽한 영화나 게임이라기보다, 카파시 자신의 표현을 빌리면 다소 거칠지만 재미있는 프로토타입에 가깝습니다. 그래도 중요한 점은 모델이 단순히 코드를 한 토막 내놓은 것이 아니라는 데 있습니다. 여러 폴리곤 자산을 x·y·z 좌표에 배치하고, 카메라와 애니메이션을 연결하며, 문장의 사건을 화면 속 장면으로 번역했습니다. 정답 이미지 하나를 맞히는 대신, 요구사항을 해석하고 구조를 세우고 결과물을 계속 확장하는 작업을 수행한 셈입니다.

카파시는 이를 ‘무엇이든 주문하면 잠시 존재하는 GTA’라는 뜻의 ephemeral GTA of X on demand라는 말로 표현했습니다. 특정 소설이나 개인의 아이디어처럼 사람이 직접 만들기에는 너무 맞춤화된 세계를, 누군가의 요청이 있을 때만 생성해 즐기는 그림입니다. 제작 비용과 시간이 충분히 낮아지면 게임의 기본 단위도 완성품을 구매하는 방식에서, 상황에 맞춰 즉석에서 만들어지는 경험으로 바뀔 수 있습니다.

새 벤치마크는 결과물이 아니라 과정이다

펠리컨 테스트의 의미가 사라졌다는 뜻은 아닙니다. 이 테스트는 모델이 시각적 개념과 공간 관계를 얼마나 자연스럽게 표현하는지 빠르게 비교하게 해 주었습니다. 다만 하나의 SVG가 잘 나왔다는 사실만으로는 장시간 작업의 신뢰성, 요구사항 추적, 오류 수정 능력을 알기 어렵습니다. 앞으로는 모델이 작은 세계를 실제로 구성하고, 여러 단계의 작업을 기억하며, 자신이 만든 결과를 검증하는지를 함께 평가해야 합니다.

여기에는 아직 큰 빈틈이 있습니다. 언어 모델은 자신이 만든 장면을 사람이 보는 것처럼 효율적으로 관찰하지 못하고, 게임을 직접 플레이하며 문제를 찾는 능력도 제한적입니다. 스크린샷을 간헐적으로 확인하는 방식만으로는 카메라가 가린 오류나 상호작용의 실패를 놓치기 쉽습니다. 코드 생성 속도가 빨라질수록 실행·시각·게임플레이를 묶은 검증 루프가 더 중요해지는 이유입니다.

과장과 가능성을 함께 보자

이 사례를 곧바로 ‘AI가 게임 개발자를 대체했다’고 읽는 것은 지나칩니다. 5,500줄의 코드와 두 시간이라는 수치는 카파시가 공유한 관찰이며, 결과의 품질을 독립적으로 측정한 벤치마크 점수는 아닙니다. 특정 모델이 Three.js 작업에 특히 잘 맞도록 학습됐을 가능성도 토론에서 제기됐습니다. 그럼에도 이 실험은 방향을 보여 줍니다. 모델의 다음 경쟁력은 예쁜 한 장을 만드는 능력보다, 긴 작업을 끝까지 붙들고 실행 가능한 경험으로 바꾸는 인내력과 자기 검증에 있을 수 있습니다.

한 줄 요약: 자전거를 탄 펠리컨은 LLM 평가의 재미있는 출발점이었고, 이제 질문은 ‘모델이 주문받은 세계를 만들고 스스로 제대로 작동하는지 확인할 수 있는가’로 이동하고 있습니다.

---

📰 원본 출처 · https://news.hada.io/topic?id=32070 (#N=32070)

이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.