Cafe24 LLM Router 공개 — 100개 모델 단일 API 자동 라우팅

Cafe24 LLM Router 공개 — 100개 모델을 단일 API로 자동 라우팅하는 통합 LLM 인프라

2026년 6월 현재, LLM 서비스 운영의 현실은 꽤 고통스럽습니다. Claude·Gemini·Qwen·Llama·DeepSeek 같은 모델 패밀리마다 SDK가 다르고, 단가 변동성은 매주 바뀌고, 특정 Provider 장애 한 번에 챗봇이 통째로 멈춥니다. Cafe24가 공개한 LLM Router(llm-router.cafe24.com) 는 이런 운영 부담을 단일 OpenAI 호환 엔드포인트로 묶어내는 한국형 통합 LLM 인프라입니다.

Auto Router — 프롬프트 성격을 분석해 모델을 자동 선택

LLM Router의 핵심은 Auto Router 입니다. 들어온 프롬프트를 분석해 코딩·추론·번역·창작 네 가지 유형으로 자동 판별하고, 그에 맞는 최적 비용 모델을 골라 호출합니다. 긱뉴스 본문에 나온 예시 그대로 "React 무한 스크롤 코드 만들어줘" 라는 입력이 들어오면 코딩으로 감지해 claude-sonnet-4-6 으로 라우팅합니다. 번역·요약·정리 같은 가벼운 작업이면 qwen3-72b-fast 같은 경량 모델로 자동 분기됩니다.

이렇게 하면 작업마다 최적 모델이 달라지는 문제를 콘솔 설정 한 번으로 해결할 수 있습니다. Provider Routing은 price/latency/throughput/balanced 네 가지 전략을 제공하는데, 긱뉴스 본문 기준으로 balanced 전략의 추천 점수는 price 96 / latency 78 / throughput 62 / balanced 84 입니다. 비용 민감 서비스면 price 우선, 실시간 응답이 중요한 챗봇이면 latency 우선으로 바꾸면 됩니다.

Auto Fallback — 실패한 호출은 과금 제외하고 즉시 전환

운영에서 가장 무서운 순간은 특정 Provider가 장애 나는 순간 입니다. 단일 Provider 의존은 곧 SLA 리스크입니다. LLM Router는 Auto Fallback 으로 qwen3-72b → llama-3.3-70b → deepseek-v3 같은 사전 정의된 대체 경로를 따라 즉시 전환합니다. 핵심은 실패한 호출은 과금에서 제외(ZCI, Zero Charge for Incidents) 된다는 점입니다. 장애가 났는데 비용까지 청구되면 운영팀 입장에서는 이중 고통인데, ZCI 정책으로 그 부담을 없앴습니다.

OpenAI 호환 단일 API — SDK 파편화 제거

기존에는 Claude 호출용 SDK, Gemini 호출용 SDK, Qwen 호출용 SDK를 각각 학습하고 유지해야 했습니다. LLM Router는 OpenAI 호환 단일 API 를 제공하기 때문에 기존 OpenAI 클라이언트 코드를 그대로 가져다 쓸 수 있습니다.

// OpenAI 호환 단일 엔드포인트
const res = await client.chat.completions.create({
  model: "cafe24/auto",  // 또는 "claude-sonnet-4-6" 같은 직접 지정
  messages: [{ role: "user", content: "..." }]
});

// → 자동으로 openai/gpt-4o-minin 으로 라우팅 (940ms)
res.model                       // "gpt-4o-mini-2024-07-18"
res.extra_fields.provider       // "openai"
res.extra_fields.latency        // 940

모델 교체 시 코드 수정은 ZERO 입니다. model 필드만 "cafe24/auto" → "@preset/cs-bot" 등으로 바꾸면 콘솔에서 라우팅 전략을 그대로 조정할 수 있습니다.

Semantic Cache + Preset — 비용 최적화의 두 축

같은 질문이 반복되는 운영 환경(고객 응대, FAQ 챗봇)에서는 Semantic Cache 가 결정적입니다. LLM Router는 의미가 유사한 질문은 LLM 호출 자체를 스킵합니다. 긱뉴스 본문에 나온 실제 사례를 보면 "환불 처리는 어떻게 하나요?" 와 "환불은 어떻게 받나요?" 두 입력 모두 0 tokens · 8ms / 6ms 로 캐시 적중합니다. 반면 "교환 정책 알려줘" 는 캐시 미스라 1,247 tokens · 1.4초 가 걸렸습니다. 캐시 적중률은 곧 비용 절감률과 직결됩니다.

• Preset* 은 Primary 모델·System Prompt·Sampling·다단계 Fallback 체인을 하나로 묶어 저장하는 기능입니다. 호출은 한 줄(model: "@preset/cs-bot"), 조정은 콘솔에서, 코드 재배포는 ZERO 입니다. 예시 preset 구성은 qwen3-72b primary + llama-3.3 → deepseek-v3 → mistral-large fallback + temp 0.3 / top_p 0.9 입니다.

거버넌스 — BYOK, Privacy, Dashboard

운영팀이 가장 민감하게 보는 부분도 잘 갖춰져 있습니다.

• BYOK (Bring Your Own Key): 보유한 OpenAI / Anthropic / Google 키를 그대로 등록해서 비용을 직접 통제할 수 있습니다 (sk-..., sk-ant-..., AIzaSy... 형태로 콘솔에서 등록).
• Privacy & 거버넌스: 로그·모델 전달 데이터의 PII를 자동 마스킹합니다 (PII Mask / 로그 마스킹 / 모델 전달 데이터 마스킹 3종 기본 제공).
• Realtime Dashboard: 24시간 요청·비용·토큰 추이를 한 화면에서 보여줍니다. 긱뉴스 본문 기준 데모 수치는 128.4k requests/24h (+12%) / ₩64,200 비용/24h (-8%) 입니다.

지원 모델과 요금제

현재 100개+ 모델 / 15개+ 모델 패밀리 를 지원합니다: Claude·Gemini·Qwen·Llama·DeepSeek·GLM·Gemma·Seed·Nemotron·Mistral·GPT-OSS·MiMo·Kimi·Hunyuan·Phi·Step·MiniMax·Ling·MythoMax. Playground에서 코드 없이 모델별 응답 품질·속도·비용을 즉시 비교할 수 있는데, qwen3-72b 기준 TTFT 286ms / throughput 148 t/s / ₩16 이고 llama-3.3-70b 는 TTFT 412ms / throughput 92 t/s / ₩24 입니다.

요금제는 약정·구독 없는 크레딧 종량제 입니다. 월 기본요금 0원, 가입 즉시 무료 크레딧 제공, 원화 기반 과금, 세금계산서 발행 지원, 충전 내역 CSV 다운로드까지 제공합니다. 긱뉴스 본문 데모는 ₩6,840 / +₩10,000 충전 / 32% 사용 / auto-recharge 상태입니다.

이런 분들께 추천

| 대상 | LLM Router 활용 포인트 |

|------|------------------------|

| AI 챗봇·고객 응대 | 단일 Provider 장애 시 자동 폴백으로 24/7 무중단 |

| 쇼핑몰·운영 자동화 | 상품 설명·리뷰 요약·문의 분류를 작업별 최적 모델로 |

| 개발자·SaaS 빌더 | OpenAI 호환 단일 API로 모든 모델 접근 |

| 콘텐츠·마케팅 | 요약·번역·카피 생성을 작업별 최적 비용 모델로 |

| 엔터프라이즈·금융 | 거버넌스·컴플라이언스 옵션 기본 탑재 |

| 교육·연구 | Playground에서 코드 없이 모델 품질 비교 |

정리

Cafe24 LLM Router는 단일 API + 자동 라우팅 + 자동 폴백 + 캐시 + Preset + BYOK 를 한 콘솔로 묶어낸 한국형 통합 LLM 인프라입니다. SDK 파편화·단가 변동·Provider 장애 세 가지 운영 고통을 동시에 해결하려는 시도로서, 특히 한국 원화 과금과 세금계산서 발행 지원은 로컬 서비스 운영팀에 실질적 이득입니다. 2026년 6월 기준으로 무료 크레딧이 제공되니 실제 부하 패턴에 맞는 모델 조합을 Playground에서 직접 비교해보는 것이 가장 빠른 도입 경로입니다.