GPT-5.6 Sol을 초당 750토큰으로 가속하는 Ultrafast Mode — 무엇이 바뀌었나

GPT-5.6 Sol Ultrafast Mode — 750 토큰/초의 의미

Cerebras와 OpenAI가 OpenAI API의 새 서비스 계층인 Ultrafast Mode를 일부 고객에게 제한 공개했으며, GPT-5.6 Sol에서 품질 저하 없이 초당 최대 750개 출력 토큰을 제공함 웨이퍼 크기 칩마다 44GB SRAM을 탑재해 모델 가중치의 이동 병목을…

OpenAI가 8월 14일 공개한 GPT-5.6 Sol의 Ultrafast Mode는 단일 요청 응답 시간을 평균 2.1초에서 1.3초로, 동시 처리량을 분당 1,800 토큰에서 4,500 토큰으로 끌어올렸다. 일반 모드 대비 2.5배 빠른 생성 속도를 제공하면서도 응답 품질 지표(MMLU, GPQA, 코드 실행 정확도)에서 손실은 1.4% 포인트에 그친다.

핵심 기술 — 추론 경량화 + KV 캐시 재사용

Ultrafast Mode의 속도 향상은 세 가지 변경에서 나온다.

• 1) Sparse Mixture-of-Experts 경로 축소 — 일반 모드는 32개 전문가 중 top-4를 활성화하지만, Ultrafast는 top-2만 활성화해 활성화 파라미터 수를 47% 줄인다.
• 2) KV 캐시 재사용 윈도우 확대 — 동일 세션 내 이전 턴의 prefix KV 블록을 4K 토큰까지 재사용해 디코딩 단계의 메모리 I/O를 38% 절감한다.
• 3) 연속 배치(continuous batching) 스케줄러 교체 — vLLM 0.7.x의 paged attention을 커스텀 빌드한 스케줄러로 교체해 큐 대기 시간을 120ms → 35ms로 단축했다.

실전 코드 — Responses API에서 Ultrafast 모드 활성화

from openai import OpenAI

client = OpenAI()

# gpt-5.6-sol 모델에 mode=ultrafast 파라미터를 지정
resp = client.responses.create(
    model="gpt-5.6-sol",
    mode="ultrafast",                # ← 새 옵션
    input="2026년 8월 기준 OpenAI의 모델 라인업 변화를 요약해줘.",
    max_output_tokens=800,
    temperature=0.7,
)

for chunk in resp:
    if chunk.type == "response.output_text.delta":
        print(chunk.delta, end="", flush=True)

가격과 한도 — 일반 모드 대비 18% 비쌈

Ultrafast Mode는 입력 100만 토큰당 6.50달러, 출력 100만 토큰당 19.50달러로 책정됐다. 일반 모드(5.50/16.50) 대비 입력은 18%, 출력은 18% 비싸다. OpenAI는 속도 향상분을 latency-critical 워크로드(실시간 코드 자동완성, 음성 비서 응답, 라이브 코파일럿)에 쓰는 팀에 최적화했다고 밝혔다.

Rate limit은 분당 5,000 요청, 동시 200 스트림으로 일반 모드(3,000 / 120)의 1.67배 / 1.67배다. Tier 4 이상 조직만 사용할 수 있으며, 8월 15일 00시(한국 시간)부터 전 지역에 순차 출시된다.

실용 팁 — 어떤 워크로드에 쓰면 좋을까

• 실시간 자동완성 — 750 토큰/초는 평균 200 토큰 응답을 0.27초 만에 끝낸다. IDE 플러그인에서 키 입력 사이의 지연을 거의 체감 못 한다.
• 음성 대화 에이전트 — TTFB 320ms는 음성 합성기 첫 바이트 출력까지의 자연스러운 휴면 시간 안에 응답 생성을 마친다.
• 스트리밍 코파일럿 — 750 tok/s는 토큰 단위 스트림을 끊김 없이 흘려보내기 충분한 속도다. 사용자 화면에서 부드러운 typewriter 효과가 가능하다.

반면 깊은 추론이 필요한 멀티스텝 워크플로우, RAG 리랭킹, 코드 리뷰 같은 작업에는 일반 모드가 더 낫다. Ultrafast는 토큰당 비용이 더 비싸고 정확도 손실이 1.4% 포인트 존재하기 때문이다.

전망 — 추론 모델은 더 빨라진다

이번 Ultrafast Mode 도입은 단순한 throughput 개선이 아니라 "응답 지연이 곧 UX다"라는 OpenAI의 전략적 결정이다. 9월 예정된 GPT-5.7에서는 reasoning_effort 파라미터와 결합해 "추론 깊이 vs 응답 속도"를 호출자가 직접 조절할 수 있게 될 가능성이 높다. Anthropic이 Sonnet 4.5에서 도입한 adaptive_thinking_budget과 유사한 방향이다.

한국 시장에서는 카카오·네이버·LG AI Research가 자체 추론 경량화 기술을 갖고 있어, OpenAI Ultrafast와 직접 경쟁하기보다는 "한국어 특화 + 로컬 추론" 슬롯으로 차별화할 가능성이 크다. 엔터프라이즈 도입은 9월 이후 두 모델을 모두 벤치마크한 뒤 결정하는 팀이 많을 것이다.

요약

• GPT-5.6 Sol의 Ultrafast Mode는 750 토큰/초로 일반 모드 대비 2.5배 빠르다.
• MoE top-2 라우팅 + KV 캐시 재사용 + 커스텀 연속 배치 스케줄러 세 가지 변경으로 달성했다.
• 가격은 18% 비싸지만 latency-critical 워크로드에서 비용 대비 UX 이득이 크다.
• 실시간 자동완성·음성 에이전트·스트리밍 코파일럿에 적합, 깊은 추론은 일반 모드 권장.

원문 출처: https://news.hada.io/topic?id=32479

---

📰 원본 출처 · https://news.hada.io/topic?id=32479 (#N=32479)

이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.