DiffusionGemma: 4배 빠른 텍스트 생성 — 구글의 텍스트 확산 모델 첫 공개

DiffusionGemma: 4배 빠른 텍스트 생성

DiffusionGemma: 4배 빠른 텍스트 생성 — 구글의 텍스트 확산 모델 첫 공개

구글이 텍스트 생성 분야에 확산(diffusion) 방식을 정식으로 들여왔다. DiffusionGemma는 256토큰을 한 번에 병렬로 생성하는 26B MoE 모델로, 전용 GPU에서 표준 자기회귀 모델 대비 최대 4배 빠른 속도를 제공한다. 양자화 시 18GB VRAM 안에서 동작해 고급 소비자용 GPU에서도 돌릴 수 있다. 다만 출력 품질은 표준 Gemma 4보다 낮아 최고 품질이 필요한 작업에는 기존 모델이 여전히 권장된다. 이 모델은 Apache 2.0 라이선스로 공개돼 Hugging Face에서 바로 받을 수 있으며, Gemma 4 계열의 파라미터당 지능과 Gemini Diffusion research를 결합해 만들어졌다.

DiffusionGemma가 등장한 이유

지금까지의 LLM은 타자기처럼 왼쪽에서 오른쪽으로 한 번에 하나씩 토큰을 생성했다. 클라우드 환경에서는 수천 개 요청을 한꺼번에 배치 처리해 하드웨어를 충분히 활용할 수 있어 이 방식이 잘 동작했지만, 단일 사용자가 로컬에서 실행할 때 문제가 드러났다. 단어 단위 생성은 전용 GPU의 연산 자원을 충분히 활용하지 못해, 하드웨어가 다음 키 입력을 기다리며 쉬는 시간이 길어졌다. DiffusionGemma는 256토큰 문단 전체를 동시에 초안 작성해 프로세서에 더 큰 작업 덩어리를 한 번에 전달함으로써 이 비효율을 해소한다. 결과적으로 모델의 추론 방식이 한 글자씩 치는 타자기에서 텍스트 블록 전체를 동시에 찍는 인쇄기로 전환된 것이다. 메모리 대역폭 병목이 연산 병목으로 옮겨가면서 GPU 활용률이 비약적으로 높아진 것이 핵심이다.

핵심 트레이드오프 — 속도와 품질

DiffusionGemma의 속도 이점은 로컬 추론과 낮은 동시성 추론에 맞춰 설계됐다. 단일 H100에서 초당 1,000토큰 이상, RTX 5090에서 초당 700토큰 이상을 생성하며 추론 시 전체 26B MoE 중 3.8B 파라미터만 활성화된다. 양자화하면 18GB VRAM 한도 내에서 동작해 소비자용 GPU 환경의 진입 장벽을 크게 낮췄다. 반면 높은 QPS의 클라우드 서빙에서는 자기회귀 모델도 배치를 통해 연산을 충분히 포화시킬 수 있어 확산 모델의 병렬 디코딩 이점이 줄어들고, 서빙 비용이 더 높아질 수 있다는 점을 고려해야 한다. 또한 NVFP4 4비트 부동소수점 네이티브 지원으로 Hopper와 Blackwell 환경에서는 거의 손실 없는 정확도를 유지하면서도 처리량을 더 끌어올릴 수 있다.

양방향 어텐션이 만드는 새로운 가능성

자기회귀 모델은 한 방향으로만 문맥을 본다. DiffusionGemma는 양방향 어텐션을 사용해 한 번의 순전파에서 256개 토큰이 서로를 참조할 수 있게 했다. 이 구조는 비선형 작업에서 강점을 발휘한다. 인라인 편집은 텍스트 중간을 수정할 때 주변 토큰이 즉시 반영되고, 코드 채우기는 함수 중간을 채울 때 앞뒤 문맥이 동시에 활용되며, 아미노산 서열과 수학 그래프처럼 각 위치가 다른 위치에 의존하는 데이터에서도 견고한 성능을 보인다. Unsloth가 DiffusionGemma로 스도쿠를 풀도록 미세조정한 사례가 대표적이다. 스도쿠는 각 칸이 미래 칸의 값에 의존하기 때문에 자기회귀 모델이 어려워하는 작업인데, 양방향 어텐션은 이 문제를 자연스럽게 풀어준다. 자체 수정(self-correction)도 가능한데, 모델이 전체 텍스트 블록을 한 번에 평가하면서 실수를 실시간으로 고치는 방식으로 동작한다.

텍스트 확산은 어떻게 작동하는가

텍스트 확산은 이미지 생성의 노이즈 제거 절차를 텍스트에 그대로 적용한 것이다. 첫 단계인 캔버스에서는 무작위 플레이스홀더 토큰으로 시작하고, 반복 개선 단계에서 여러 패스를 거치며 올바른 토큰을 고정한 뒤 이를 맥락 단서로 사용해 나머지를 다듬는다. 마지막 최종 다듬기 단계에서 텍스트가 고품질 출력으로 수렴한다. 이 방식은 문단 전체를 한 번에 처리할 수 있다는 점에서 자기회귀 모델과 결정적으로 다르며, 복잡한 Markdown 서식을 정확히 닫거나 코드를 거의 실시간으로 렌더링하는 패턴이 자연스럽게 가능해진다. 확산이 자기회귀보다 연산량은 많지만, 메모리 대역폭에 묶여 있던 디코딩 병목을 해소해 단일 사용자의 로컬 환경에서 실사용 체감 속도를 크게 끌어올린다.

시작하는 방법

모델 가중치는 Apache 2.0 라이선스로 Hugging Face에서 받을 수 있고, 서빙은 MLX, vLLM, Hugging Face Transformers로 수행할 수 있다. vLLM 통합은 Red Hat의 지원을 받는다. 미세조정은 Unsloth, NVIDIA NeMo, 모듈형 JAX 도구상자인 Hackable Diffusion으로 시도해볼 수 있고, llama.cpp 공식 지원은 곧 제공될 예정이라 더 폭넓은 환경에서 활용할 수 있게 될 것이다. NVIDIA NIM을 통한 무료 엔드포인트(build.nvidia.com/google/diffusiongemma-26b-a4b-it)도 제공되니 GPU가 없는 환경에서도 바로 테스트해볼 수 있다.

그래서 우리도 따라 할 수 있는가

DiffusionGemma는 속도가 중요한 워크플로우에서 실질적인 선택지가 됐다. 페어 프로그래밍처럼 즉각적인 피드백이 필요한 작업, 부트스트랩 코드 생성, 단위 테스트 작성처럼 반복이 잦은 작업에서 특히 유용하다. 다만 최고 품질이 필요한 프로덕션 출력에는 표준 Gemma 4 배포가 여전히 권장되며, DiffusionGemma는 속도와 병렬 레이아웃 생성을 우선한 실험 모델이라는 점을 기억해야 한다. 자체 추론 하드웨어를 가진 회사가 와트당 성능과 달러당 성능에서 우위를 가져가는 흐름은 점점 분명해지고 있고, DiffusionGemma는 그 흐름 위에서 로컬 개발자도 빠르고 저렴한 추론을 누릴 수 있게 해주는 이정표다. Mercury나 Gemini Flash 같은 경량·고속 모델이 코딩 워크플로우에서 이미 체감할 만한 속도 차이를 보여주고 있고, DiffusionGemma는 그 같은 방향의 오픈 가중치 옵션을 추가한다는 점에서 의미가 있다. 로컬에서 자주 실행하는 개발자라면 한 번쯤 직접 받아서 돌려볼 만한 모델이다. 확산 모델이 텍스트 생성의 표준이 되기까지는 시간이 더 필요하겠지만, 방향 자체는 분명하다. 이미 첫 번째 실전 사례가 나왔다.