Groq LPU 아키텍처 완벽 해부 — 초저지연 AI 추론의 비밀

ChatGPT가 대중화한 이후, LLM(대형 언어 모델)의 가장 큰 병목은 단연 추론 속도였습니다. 수십억 개의 파라미터를 가진 모델이 응답을 생성하려면 수 초에서 수십 초가 걸렸죠. 하지만 Groq이라는 스타트업이 이 문제를 근본적으로 해결했습니다. Google의 TPU 설계자였던 Jonathan Ross가 설립한 Groq은 LPU(Language Processing Unit)라는 전혀 새로운 칩 아키텍처를 통해 토큰 생성 속도를 기존 GPU 대비 수십 배 이상 끌어올렸습니다.

LPU란 무엇인가?

LPU(Language Processing Unit)은 오직 순차적 언어 모델 추론(sequential language model inference)에만 특화된 반도체입니다. NVIDIA GPU가 다목적 연산(그래픽, 과학 계산, AI 학습 등)을 처리하는 범용 칩이라면, LPU은 LLM 토큰 생성이라는 단일 작업에 모든 실리콘 영역을 할당한 ASIC(주문형 반도체)입니다.

핵심 아이디어는 단순하지만 강력합니다. "LLM 추론은 본질적으로 메모리 병목 작업이다"라는 사실에 착안한 것입니다. GPU 아키텍처에서는 연산 유닛이 빠르지만 메모리 대역폭이 병목이 됩니다. 반면 LPU는 초당 수백 TB의 온칩 메모리 대역폭을 제공하여, 모델 가중치를 SRAM에 올려두고 연산 유닛에 끊임없이 공급합니다.

LPU vs GPU 아키텍처 비교

전통적인 GPU 기반 추론 파이프라인을 이해하면 LPU의 장점이 명확해집니다.

GPU 방식: 모델 가중치를 HBM(고대역폭 메모리)에 저장 → 매 레이어마다 HBM에서 연산 유닛으로 가중치 전송 → 연산 → 결과를 다시 메모리에 기록. 이 과정에서 메모리 대역폭이 병목이 됩니다.

LPU 방식: 모델 가중치를 온칩 SRAM에 저장 → 데이터 이동 없이 연산 유닛에서 직접 처리. 메모리 대역폭이 아니라 연산 유닛의 처리량이 성능을 결정합니다.

이러한 차이 때문에 Groq의 LPU는 Llama 3 70B 모델에서 초당 300토큰 이상을 생성합니다. NVIDIA H100 GPU 클러스터에서 동일한 모델이 초당 50~100토큰을 생성하는 것과 비교하면 압도적인 차이입니다.

LPU의 핵심 기술: FSD(Functional Streaming Dataflow)

LPU의 마법은 FSD(Functional Streaming Dataflow) 아키텍처에 있습니다. 이는 데이터가 칩 내부를 흐르는 방식을 근본적으로 재설계한 것입니다.

1. 정적 컴파일: Groq은 모델을 칩에 배치하기 전에 정적 컴파일을 수행합니다. 어떤 연산이 어떤 순서로 실행될지 미리 결정하고, 데이터 경로를 하드웨어 수준에서 고정합니다. 이로 인해 런타임 스케줄링 오버헤드가 완전히 제거됩니다.

2. 단방향 데이터 흐름: GPU의 멀티스레드 병렬 처리와 달리, LPU는 데이터가 칩 내부를 단방향으로 흐르는 파이프라인 구조를 사용합니다. 각 연산 유닛은 입력을 받아 처리하고 출력을 다음 유닛으로 전달합니다.

3. 결정론적 실행: 동일한 입력에는 항상 동일한 시간에 동일한 결과가 나옵니다. 이는 실시간 애플리케이션(음성 대화, 자율주행 등)에서 매우 중요한 특성입니다.

GroqCloud: 개발자를 위한 API

Groq은 자체 API 플랫폼인 GroqCloud를 통해 누구나 LPU 성능을 체험할 수 있게 했습니다.

무료 티어: 개인 개발자에게 매일 무료 API 호출을 제공합니다. OpenAI API의 유료 모델과 비교해도 속도에서 압도적입니다.

지원 모델: Llama 3.3 70B, Mixtral 8x7B, Gemma 2 9B 등 오픈소스 모델을 지원합니다.

OpenAI 호환 API: 기존 OpenAI SDK를 그대로 사용할 수 있습니다. base_url만 Groq 엔드포인트로 변경하면 됩니다.

from openai import OpenAI


client = OpenAI(
api_key="gsk_your_api_key",
base_url="https://api.groq.com/openai/v1"
)

response = client.chat.completions.create(
model="llama-3.3-70b-versatile",
messages=[{"role": "user", "content": "Hello!"}],
)
print(response.choices[0].message.content)

한계와 도전 과제

1. 학습 불가: LPU는 추론 전용입니다. 모델 학습이나 미세조정에는 사용할 수 없습니다.

2. 모델 크기 제한: 온칩 SRAM 용량에 모델 가중치를 올려야 하므로, 칩당 처리할 수 있는 모델 크기에 제한이 있습니다.

3. 정적 컴파일의 양면성: 모델을 변경할 때마다 재컴파일이 필요합니다. 동적으로 모델을 스위칭하는 환경에서는 유연성이 떨어집니다.

4. 생태계: NVIDIA의 CUDA 생태계와 비교하면 아직 초기 단계입니다.

향후 전망

Groq은 2024년 NASDAQ 상장을 통해 대규모 자금을 확보했고, LPU 칩의 4세대(GroqRack)를 출시했습니다. AI 추론 시장은 앞으로 학습 시장보다 더 빠르게 성장할 전망입니다. 추론에 특화된 LPU 아키텍처는 GPU 중심의 현재 인프라에 강력한 대안이 될 수 있습니다.

요약

Groq의 LPU는 AI 하드웨어 산업에 중요한 질문을 던졌습니다: "정말 모든 AI 연산에 범용 GPU가 필요한가?" 추론이라는 단일 작업에 특화함으로써, LPU는 속도와 에너지 효율에서 GPU를 압도하는 성능을 보여주었습니다. 학습은 GPU, 추론은 LPU라는 이원화 인프라가 AI 산업의 표준이 될 수 있을지, 앞으로의 귀추가 주목됩니다.