Kimi K3 로컬 실행 가이드 — 2.8T 파라미터 오픈 웨이트 모델을 Unsloth GGUF로 돌리는 법

Kimi K3 로컬 실행 가이드

Moonshot AI의 Kimi K3는 전체 2.8T·활성 104B 매개변수와 네이티브 비전, 100만 토큰 문맥을 갖춘 오픈 웨이트 모델이며, Unsloth가 로컬 실행용 GGUF 양자화를 제공함 전체 정밀도 추론에는 1.56TB가 필요하지만, Dynamic 1-bit UD-IQ1_…

1. Kimi K3란 무엇인가

Moonshot AI가 공개한 Kimi K3는 전체 2.8T 파라미터와 활성 104B 구조를 갖춘 오픈 웨이트 모델이다. 네이티브 비전 처리와 100만 토큰 문맥 윈도우를 함께 제공하며, 사고 흔적을 유지하는 thinking-only 모델이라는 점이 특징이다. Instant 모드는 지원하지 않고 reasoning_effort 옵션으로 low, high, max 세 단계를 선택해 추론 깊이를 조절한다.

2. 로컬 실행을 위한 양자화 옵션

전체 정밀도 추론에는 1.56TB 메모리가 필요해 일반 데스크톱에서 실행하기 어렵다. Unsloth가 제공하는 GGUF 양자화는 Dynamic 1-bit UD-IQ1_S 기준 594GB에서 약 78.9% Top-1 정확도를, 2-bit UD-Q2_K_XL은 861.3GB에서 약 90% 정확도를 제공한다. 메모리 256GB 정도의 워크스테이션이라면 더 보수적인 양자화 단계를 선택해야 한다.

# Kimi K3 권장 사양 (Unsloth 기준)
model_variant: UD-IQ1_S   # 1-bit dynamic, ~594GB
model_variant: UD-Q2_K_XL # 2-bit,           ~861GB

# llama.cpp 실행 예시
llama-cli \
  --model kimi-k3-UD-IQ1_S.gguf \
  --ctx-size 1048576 \
  --reasoning-effort high \
  --n-gpu-layers 99

3. Unsloth Studio와 비전 처리

Unsloth Studio는 RAM 오프로딩과 다중 GPU 감지를 자동화한다. 네이티브 비전 기능을 llama.cpp로 실행할 때는 메인라인이 아니라 Kimi K3 전용 Unsloth 포크가 필요하다. Fork는 Unsloth GitHub에서 kimi-k3 브랜치로 제공되며, llama.cpp 빌드 옵션에 -DGGML_KIMI=ON 플래그를 추가해야 한다.

4. 실전 워크플로와 권장 사항

UD-IQ1_S 양자화는 최소 610GB RAM이 필요하다. 일반적인 128GB 또는 256GB 시스템에서는 더 작은 모델이나 클라우드 inference를 우선 검토하는 것이 현실적이다. 1M 토큰 문맥을 모두 활용하려면 KV 캐시 메모리도 함께 계산해야 하며, 활성 104B 모델 특성상 배치 크기를 1로 유지하는 편이 안정적이다.

5. 전망과 정리

Kimi K3는 오픈 웨이트로 공개된 대규모 MoE 모델 가운데 가장 공격적인 메모리 절감 옵션을 제공한다. 양자화 단계를 낮추면 정확도와 메모리가 트레이드오프 관계에 놓이므로, 워크로드 특성에 맞춰 선택해야 한다. 앞으로 더 작은 활성 파라미터를 가진 차세대 모델이 등장하면 일반 데스크톱에서도 100만 토큰 문맥을 활용할 수 있는 시점이 올 가능성이 높다.

요약

Kimi K3는 2.8T 전체·활성 104B의 오픈 웨이트 모델이다. 로컬 실행은 Unsloth의 GGUF 양자화로 가능하며, 1-bit UD-IQ1_S는 594GB, 2-bit UD-Q2_K_XL은 861GB에서 각각 약 78.9%, 90% 정확도를 제공한다. 비전 기능 사용 시 Kimi K3 전용 Unsloth 포크가 필요하다.

출처: GeekNews 토픽

---

📰 원본 출처 · https://news.hada.io/topic?id=32008 (#N=32008)

이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.