Gemma 4 가속하기 : 다중 토큰 예측 drafter로 더 빠른 추론 완벽 가이드

Gemma 4 가속하기 : 다중 토큰 예측 drafter로 더 빠른 추론 완벽 가이드

도입

LLM 추론 속도가 곧 개발자의 병목이다. 수십억 개의 파라미터를 VRAM에서 컴퓨트 유닛으로 이동하는 데 대부분의 시간을소소모하면서, 프로세서는 단 1개의 토큰을 생성하기 위해서만 엄청난 연산을 수행한다. 특히 소비자 등급 하드웨어에서 이 문제는 더욱 심각하다.

구글은 바로 이 문제를 해결하기 위해 Multi-Token Prediction(MTP) drafter를 Gemma 4 모델군에 공식 출시했다. 2026년 5월 5일 공개된 이 기술은 추론 속도를 최대 3배 향상시키면서도 출력 품질이나 논리적 정확성에는 전혀 열화를 일으키지 않는다고 جوجل은 밝혔다.

Gemma 4는 출시 첫 주에만 6,000만 건 이상의 다운로드를오기녹했고, 이제 MTP drafter를 통해 Gemma 생태계(Gemmaverse)가 한층 더 강력한 속도를 얻었다. 이 글에서는 MTP drafter의 동작 원리, 성능 실험 결과, 사용 방법까지 개발자가 알아야 할 모든 것을 정리한다.

---

왜 기존 추론 방식은 느린가

표준 LLM 추론은 메모리 대역폭 바인딩(memory-bandwidth bound) 구조다. 프로세서는 토큰 하나를 생성하기 위해수십억 개의 파라미터를 VRAM에서 연산 유닛으로 이동하는 데 대부분의 시간을 소비한다. 이로 인해 컴퓨팅 자원이 충분히 활용되지 못하고 지연 시간이 발생하는 것이다.

기존적대형언어모데루처럼 텍스트를 생성하는 방식은 자귀회귀적(autoregressive)이다. 한 번에 정확히 하나의 토큰만 생성한다. "Actions speak louder than…" 다음에 올 단어를 예측하는 것처럼 쉬운 연속야일양 같은 양의 연산을소소모한다. 복잡한 논리 퍼즐을 푸는 데 소요되는 계산량과 차이가 없다.

---

MTP Drafter는 어떻게 동작하는가

추측 디코딩의 원리

MTP는 Speculative Decoding이라는 기법을 활용한다. 2023년 구글 연구진이 발표한 "Fast Inference from Transformers via Speculative Decoding" 논문에서 처음 소개된 이 방법은 토큰 생성을 "추측"과 "검증" 두 단계로 분리한다.

동작 과정은 다음과 같다:

1. Drafter 모델이 여러 토큰을 한꺼번에 추측한다. MTP 모델은 경량 모델이라 타겟 모델이 하나의 토큰을 처리하는 시간보다 짧은 시간 안에 여러 미래 토큰을 예측할 수 있다.

2. 타겟 모델(Gemma 4 31B 등)이 추측된 토큰 시퀀스를 병렬로 검증한다. 타겟 모델이 추측 전체를 한 번의 포워드 패스로 확인한다.

3. 추측이 맞으면 전체 시퀀스를 한 번에수약한다. 타겟 모델은 검증 과정에서 추가 토큰 하나까지 함께 생성한다.

결과적으로, 기존에 하나의 토큰을 생성하던 시간 동안 추측된 전체 시퀀스 + 추가 토큰 하나를 출력할 수 있게 된다.

KV 캐시 공유와 효율적인 임베더

MTP drafter 모델은 타겟 모델의 액티베이션을 그대로 활용하고 KV 캐시를 공유한다. 따라서 더 큰 모델이 이미 계산한 컨텍스트를 다시 계산하는 시간을소소모하지 않는다. 특히 E2B, E4B 에지 모델처럼 최종 로짓 계산이 큰 병목이 되는 경우에는 효율적인 클러스터링 기법을 임베더에실장하여 생성을 더욱 가속화했다.

---

성능: 어디까지 빨라지는가

구글은 LiteRT-LM, MLX, Hugging Face Transformers, vLLM 등 다양한 프레임워크와 하드웨어에서 속도 향상을 테스트했다.

모델	하드웨어	속도 향상
Gemma 4 26B MoE	NVIDIA RTX PRO 6000	최대 3배
Gemma 4 26B MoE	Apple Silicon (배치 크기 4~8)	최대 2.2배
Gemma 4 31B	NVIDIA A100	배치 크기 증가 시 유사한 향상

핵심: 출력 품질의 열화는 전혀 없다. 최종 검증은 항상 주류 Gemma 4 모델이 수행하므로 동일한 프론티어급 추론 능력과 정확성을 유지하면서 속도만 3배 빨라진다.

에지에서 워크스테이션까지

MTP drafter를 활용하면 개발자는 다음과 같은 시나리오에서 benefits를 받을 수 있다:

• 개선된 응답성: 거의 실시간에 가까운 채팅, 몰입형 음성 애플리케이션, 에이전트 워크플로우의 지연 시간을 크게 줄인다.

• 로컬 개발 가속: 개인용 PC와 소비자 GPU에서 26B MoE 및 31B Dense 모델을전소미유적 속도로 실행하여, 복잡한 오프라인 코딩과 에이전트 워크플로우를 원활하게 구동한다.

• 에지 디바이스 성능 향상: E2B, E4B 모델의 출력을 더 빠르게 생성하여 배터리 수명을 절약할 수 있다.

---

사용 방법: 시작하기

1. 모델 다운로드

MTP drafter 가중치는 Hugging Face, Kaggle에서 지금 바로 다운로드할 수 있다. Apache 2.0 라이선스( Gemma 4와 동일)로 제공된다.

2. 프레임워크별 사용

여러 추론 프레임워크에서 MTP를 쉽게 사용할 수 있다:

Hugging Face Transformers

from transformers import AutoModelForCausalLM, AutoTokenizermodel_id = "google/gemma-4-31b"tokenizer = AutoTokenizer.from_pretrained(model_id)model = AutoModelForCausalLM.from_pretrained(model_id)# MTP drafter는 자동 적용

MLX (Apple Silicon)

import mlx.core as mxfrom mlx_lm.utils import loadmodel, tokenizer = load("mlx-community/gemma-4-31b-mtp")

vLLM

from vllm import LLM, SamplingParamsllm = LLM(model="google/gemma-4-31b", tensor_parallel_size=1)# MTP drafter가 기본 적용

SGLang, Ollama 등도 지원한다.

3. 모바일에서 직접 사용

Google AI Edge Gallery(Android/iOS)를 통해 모바일 디바이스에서 직접 MTP 가속 Gemma 4를 체험할 수 있다.

---

하드웨어별 최적화 참고

구글은 하드웨어별 최적화 분석도 공유했다:

• Apple Silicon M1/M2/M3: 26B MoE 모델은 배치 크기 1에서 고유한 라우팅 문제를 보인다. 배치 크기 4~8로 여러 요청을 동시에 처리하면 로컬에서 약 2.2배 속도 향상을 확인할 수 있다.

• NVIDIA A100: 배치 크기를 늘리면 유사한 속도 향상 효과가 난다.

---

향후 전망

MTP drafter는 구글의 Gemma 4 생태계를 한 단계 끌어올린다. 개발자들은 이제 코딩 어시스턴트, 자율 에이전트, 실시간 응답이 필요한 모바일 앱 등 거의 모든 생산 환경에서 추론 속도의 병목을 해소할 수 있게 됐다.

특히 로컬 환경에서 31B Dense 모델을Consumer GPU로 3배 빠르게 돌릴 수 있다는 점은, 클라우드 비용 없이 고급 AI 어시스턴트를 개인 개발 환경에 구축하려는 이들에게 매력적인 선택지가 될 것이다.

구글은 앞으로도 하드웨어별 최적화를 지속적으로 확대할 계획이며, 커뮤니티의 feedback을 바탕으로생태계를 발전시켜 나갈 예정이다.

---

요약

• MTP(Multi-Token Prediction) drafter: Gemma 4 모델군의 추론 속도를 최대 3배 향상시키는 기술

• 핵심 원리: 경량 drafter가 여러 토큰을 추측하고, 주류 타겟 모델이 병렬로 검증하는 Speculative Decoding

• 품질 유지: 출력 품질이나 논리적 정확성에 열화 없음

• 지원 환경: Hugging Face Transformers, MLX, vLLM, SGLang, Ollama, Google AI Edge Gallery

• 라이선스: Apache 2.0(Gemma 4와 동일)

• 다운로드: Hugging Face, Kaggle에서 즉시 가능

Gemma 4 MTP drafter로 더 빠른 AI 추론 환경을 직접 경험해보자.

tags: Gemma4, MultiTokenPrediction, MTP, SpeculativeDecoding, GoogleAI, LLM, 추론가속, AI개발, HuggingFace, MLX, vLLM

---

📚 출처

• https://news.hada.io/topic?id=29214