AI 토큰은 데이터센터를 어떻게 여행하는가 — 15단계 경로와 두 가지 병목(prefill/decode)

> 한 번의 LLM 요청이 토큰화 → API 게이트웨이 → 인증 → 라우팅 → 스케줄링 → KV 캐시 → GPU·HBM → CUDA 커널 → NVLink·스위치 → NIC → Ethernet을 거쳐 응답으로 돌아오는 15단계를 거친다는 사실, 알고 계셨나요? 2026년 AI 추론이 전체 AI 컴퓨팅의 약 3분의 2까지 확대되고, 배포된 모델의 생애 컴퓨팅 비용 중 80~90%가 이 구간에서 발생합니다. 즉 토큰의 물리적 여행 경로를 모르고서는 추론 비용 최적화를 논할 수 없습니다.

1. 두 가지 병목 — prefill과 decode는 완전히 다른 자원이다

prefill은 입력 토큰을 한 번에 병렬 처리하는 단계로, 연산량(FLOPs)과 첫 토큰 지연시간(TTFT)에 묶입니다. 반면 decode는 토큰을 하나씩 생성하는 단계로, 메모리 대역폭(HBM·VRAM)과 처리량(tokens/sec·cost)에 묶입니다.

이 비대칭이 중요한 이유: 한쪽을 최적화하는 기술이 다른 쪽에는 무용지물일 때가 많습니다.

| 최적화 기법 | 겨냥하는 병목 | 효과 |

|---|---|---|

| 배치(batching) | decode 메모리 대기 | GPU 활용률 ↑, tokens/sec ↑ |

| 양자화(quantization) | 메모리 대역폭 | INT8/INT4 시 HBM 대역폭 부담 ↓ |

| 지속 배치(continuous batching) | decode 유휴 슬롯 | 동시 처리량 ↑ |

| PagedAttention | KV 캐시 단편화 | GPU 메모리 효율 ↑ |

| 추측 디코딩(spec decoding) | decode 메모리 병목 | 작은 draft 모델로 n개 후보 → 큰 모델 검증 |

| 프롬프트 캐싱(prompt caching) | prefill 재실행 | 반복 입력 비용 90% 절감 |

2. 15단계 여행 경로 — 어디서 비용이 새는가

요청 한 건은 대략 다음 15단계를 통과합니다:

1. 클라이언트 토큰화 → 2. API 게이트웨이 → 3. 인증/레이트 리미트 → 4. 라우터 → 5. 스케줄러(큐) → 6. KV 캐시 조회 → 7. GPU로 디스패치 → 8. HBM 적재 → 9. CUDA 커널 실행 → 10. NVLink 내부 통신 → 11. 스위치 hop → 12. NIC 송신 → 13. Ethernet 직렬화 → 14. 응답 역경로 → 15. 클라이언트 디코딩

• 돈이 새는 구간 3곳*:
• KV 캐시 미스 → prefill 재실행: 동일 시스템 프롬프트/도구 정의가 매 요청마다 재계산됨. 프롬프트 캐싱으로 90% 절감 가능.
• 긴 컨텍스트 처리: attention의 O(n²) 특성상 컨텍스트 길이가 두 배면 비용/지연이 네 배.
• 마지막 마일 네트워크 직렬화: NIC에서 Ethernet으로 나갈 때 64바이트 이하 패킷은 직렬화 오버헤드가 폭증. 배치로 묶지 않으면 latency가 GPU보다 네트워크에서 더 길어짐.

3. 인프라 경제성 — 모델이 아닌 토큰 경로가 비용을 결정

원문에서 강조하는 핵심은 "모델 아키텍처가 비슷한 수준이라면, 토큰 처리 비용과 지연시간이 곧 인프라 경제성"이라는 점입니다. 같은 모델을 배포하더라도:

• 캐시 히트율 1%p 개선 → GPU 1대가 커버하는 RPS 0.5~1% 증가
• 추측 디코딩 적용 시 decode 메모리 대역폭 점유 ↓ → 동시 처리량 2~3배
• 지속 배치로 GPU 활용률 50% → 80%만 올려도 단위 비용 30% 절감

반대로 프롬프트 캐싱 무시 + 양자화 미적용 + 긴 컨텍스트 남용이면 같은 GPU로도 RPS가 절반 이하로 떨어집니다. 결국 추론 비용 최적화는 GPU 자체보다 15단계 경로의 어디서 시간을 쓰고 있는가를 계측하는 일이 됩니다.

4. 토큰 가격 인플레와 "가짜 최적화"의 시대

지금은 토큰 가격이 싸져 보이는 시기지만, KV 캐시 적중률과 일관된 워크로드 패턴 없이는 그 가격이 곧 인플레와 함께 사라질 여지가 큽니다. 2027~2028년 GPU 메모리 가격, HBM3E/HBM4 공급망, 전력 계약에 따라 동일 워크로드의 단위 비용이 2~3배 변동될 수 있다는 게 업계 컨센서스입니다.

따라서 지금 시점의 올바른 우선순위는:

1. 워크로드 패턴 측정 — 어떤 시스템 프롬프트/도구 정의가 자주 반복되는가
2. 프롬프트 캐싱 적극 도입 — 90% 비용 절감 즉시 가능
3. 추측 디코딩 도입 검토 — 응답 길이가 길수록 ROI 큼
4. 양자화·배치 동시 적용 — 단일 기법보다 트레이드오프 매트릭스화

5. 운영 인사이트: 토큰 경로를 모르면 비용 절감은 운에 의존

원문이 시사하는 가장 실무적인 결론은 "토큰은 15단계 경로를 거친다"는 사실을 모르고 절감 목표를 세우면, GPU를 더 사는 방향으로만 결정이 흐르게 된다는 점입니다. prefill·decode 비대칭을 이해하고, KV 캐시와 직렬화의 한계를 인식해야 비로소 소프트웨어 레벨의 토큰 비용 절감이 가능해집니다.

• --

• 원문*: AI 토큰은 데이터센터를 어떻게 여행하는가 (datagravity.dev)

핵심 키워드: #AI인프라 #LLM추론 #KV캐시 #프롬프트캐싱 #지속배치 #추측디코딩 #HBM #GPU경제성

---

📰 원본 출처 · https://news.hada.io/topic?id=31381 (#N=31381)

이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.