Weave Router — 프롬프트마다 최적의 모델로 자동 라우팅하는 에이전트용 모델 라우터

에이전트 시대의 가장 큰 비용 변수는 "모델 선택"입니다. 동일한 요청이라도 어떤 모델이 받느냐에 따라 비용이 5~10배 달라지고, 응답 품질도 들쭉날쭉합니다. 한 사용자가 코딩 도중에도 가벼운 리팩터링은 Sonnet, 복잡한 아키텍처 의사결정은 Opus, 단순 분류는 Haiku로 보내고 싶다는 니즈는 이미 보편화됐습니다. Weave Router는 Anthropic, OpenAI, Gemini를 단일 OpenAI 호환 엔드포인트로 묶고, 요청마다 임베딩 기반 클러스터 스코어러로 최적 모델을 자동 선택해 주는 드롭인 프록시입니다. 사용자는 한 줄짜리 엔드포인트만 바꾸면 되고, 라우터는 백그라운드에서 50ms 안에 결정을 내립니다.

왜 LLM 라우터가 필요한가

에이전트 워크로드의 본질은 "서로 다른 난이도의 호출이 뒤섞여 있다"는 점입니다. 한 세션 안에서도 파일 읽기, 도구 호출, 다단계 추론, 요약, 번역, 분류, JSON 생성이 모두 일어납니다. 단일 모델로 모든 걸 처리하면 비싼 호출이 가벼운 작업에까지 전가되고, 가벼운 호출은 종종 과소 추론이 됩니다. MoE(Mixture of Experts) 모델이 내부적으로 같은 문제를 풀려고 했던 것과 정반대로, 외부 라우터는 공급자 전체를 클래스로 다룬다는 차이가 있습니다. 라우터가 잘 동작하기만 하면 단일 벤더 종속을 끊고 비용 40~70% 절감을 노릴 수 있습니다.

핵심 특징

• 50ms 이내 라우팅 — 모든 프롬프트를 50ms 미만으로 분류해 처리. 사용자 체감 지연은 사실상 0
• 비용 40~70% 절감 — 엔드포인트 한 줄만 바꿔도 MoE 라우팅 효과. 월 1만 호출 규모 팀이면 수백만 원 절감 가능
• 멀티 프로바이더 — Anthropic Messages, OpenAI Chat Completions, Gemini native API 모두 지원. OSS 모델(DeepSeek, Kimi, GLM, Qwen, Llama, Mistral)은 OpenRouter 경유
• 스트리밍/툴/비전 — 핵심 기능 모두 호환 유지. Tool-use 호출도 라우팅이 깨지지 않음
• Avengers-Pro 파생 클러스터 스코어러 — vibes(감)이 아닌 on-box embedder 기반, 매 턴 결정
• BYOK + 로컬 암호화 — 공급자 키를 사용자 머신에 안전 저장
• OTLP 트레이스 — Weave 대시보드 / Honeycomb / Datadog / Grafana로 Observability 확보
• DRY 비용 분석 — 라우터가 매 호출의 공급자·비용·지연을 자동 기록

라우팅 알고리즘 — vibes가 아닌 on-box embedder

Weave Router의 차별점은 "클러스터 스코어러"입니다. 단순한 키워드 매칭이 아니라, 입력 프롬프트를 on-box 임베딩으로 벡터화한 뒤 학습된 클러스터로 분류합니다. Avengers-Pro에서 파생된 이 방식은 다음 과정을 거칩니다.

1. 임베딩 — 입력 프롬프트를 on-box 임베더로 벡터화 (50ms 미만)
2. 클러스터 분류 — 미리 학습된 N개 클러스터 중 가장 가까운 것 선택
3. 스코어 계산 — 각 모델이 해당 클러스터에 대해 갖는 강점/약점 점수 산출
4. 비용·지연 가중 — 사용자가 설정한 비용 가중치·지연 SLA로 최종 순위 산정
5. 결정 — 상위 1개 모델에 디스패치

매 턴 결정하므로 같은 에이전트 세션 안에서도 호출 성격에 따라 다른 모델로 보낼 수 있습니다. 예를 들어 "파일 읽기" 호출은 Haiku로, "복잡한 추론" 호출은 Opus로 가는 식입니다.

설치와 연결

설치 한 줄로 끝납니다.

npx @workweave/router

라우터가 http://localhost:8080/v1에서 OpenAI 호환 엔드포인트를 제공합니다. 주요 에이전트별 연결 방법은 다음과 같습니다.

| 에이전트 | 연결 방법 | 슬래시 명령 |

|----------|----------|------------|

| Claude Code | make install-cc | /router-on, /router-off, /router-status |

| Codex | npx @workweave/router --codex | ~/.codex/config.toml 자동 패치 |

| opencode | npx @workweave/router --opencode | @ai-sdk/anthropic 공급자를 라우터 /v1로 리매핑 |

| Cursor | Settings → Models → Override OpenAI Base URL → http://localhost:8080/v1 | 베타 — 성능 불안정 |

Claude Code는 슬래시 명령으로 라우터를 켜고 끄면서 비용을 실시간 추적할 수 있고, opencode는 Anthropic Messages API 네이티브 지원 덕분에 코드 수정 없이 그대로 동작합니다.

멀티 프로바이더 실전 매핑

라우터는 다음 조합을 기본으로 지원합니다.

• Anthropic: Opus 4.5, Sonnet 4.5, Haiku 4.5, Claude Messages API
• OpenAI: GPT-5.x, GPT-4.1, o3/o4, Chat Completions API
• Google: Gemini 2.5 Pro/Flash, Gemini native API
• OpenRouter 경유 OSS: DeepSeek V3/R1, Kimi K2, GLM-4.5, Qwen3, Llama 4, Mistral Large

BYOK(Bring Your Own Key)가 기본이라 각 공급자 키는 라우터가 로컬에 암호화해 저장합니다. 라우터 자체는 키를 평문 전송하지 않으므로 안전합니다.

라이선스

• Elastic License 2.0* — OSS로 자유롭게 사용 가능하지만, 호스팅형 SaaS로 재판매하는 행위는 제한됩니다. 개인/팀 인프라에 그대로 올려 쓰기 좋습니다. 라이선스 핵심은 "내부 사용은 OK, 상업적 SaaS 재판매는 NO"입니다. 팀 내부 툴로 도입할 때는 거의 제약이 없습니다.

실전 활용 팁

1. 캐시 적중 패턴을 모르면 라우터도 거기까지는 도와주지 못한다는 댓글이 HN에 있습니다 — LLM의 캐시 레이어는 직접 설계해야 합니다. Anthropic Prompt Caching을 적극 활용하면 추가 30~50% 절감 가능
2. 초기엔 Anthropic Opus로 시작 → 점진적으로 더 작은 모델로 분기 — 라우터의 강점은 믹스입니다. 점진적 마이그레이션이 안전
3. OTLP 트레이스를 Honeycomb에 연결하면 어떤 모델이 어떤 클러스터에 매칭되는지 시각화할 수 있습니다
4. Cursor는 베타라서 지금은 보조용으로만 권장 — 프로덕션은 Claude Code 또는 opencode가 안정적
5. 라우터 off fallback — 라우터 장애 시 OPENAI_BASE_URL을 원래 엔드포인트로 되돌리는 헬퍼 슬래시 명령을 만들어 두면 안전

함께 보면 좋은 글

• oh-my-free-models — 무료 LLM 중 지금 가장 빠른 모델로 코딩 에이전트를 라우팅하는 로컬 프록시
• Cafe24, LLM Router 공개 — 국내 사례의 라우터 구현
• 효과적인 AI 에이전트 구축 — 라우팅을 포함한 에이전트 아키텍처 패턴
• Claude Code Router — Claude Code 요청을 다양한 모델로 라우팅하는 오픈소스
• Cloudflare의 AI 플랫폼: 에이전트를 위한 추론 계층 — CDN 엣지에서 라우팅하는 클라우드플레어 접근법

전망

LLM 라우터는 "메타 LLM" 인프라로 자리잡고 있습니다. 단순한 키워드 기반 분류를 넘어 임베딩 기반 클러스터 스코어링이 표준이 되면서, 단일 모델의 한계를 넘어서는 실용적 해법이 됐습니다. Weave Router처럼 가볍게 끼워 쓸 수 있는 도구가 늘어나면, 에이전트 개발자는 "모델 선택"이라는 의사결정 비용을 거의 0으로 줄일 수 있을 겁니다. 1~2년 안에 모든 주요 에이전트 프레임워크가 라우터 통합을 기본으로 제공할 가능성이 높습니다.

요약

• Weave Router: Anthropic/OpenAI/Gemini를 묶는 드롭인 OpenAI 호환 프록시
• 50ms 이내 임베딩 라우팅으로 비용 40~70% 절감
• Claude Code / Codex / opencode / Cursor에 1줄로 연결, BYOK + OTLP 기본 제공
• Avengers-Pro 파생 클러스터 스코어러 — vibes가 아닌 on-box 임베더로 매 턴 결정
• 라이선스는 Elastic License 2.0, 내부 사용 자유 / SaaS 재판매 금지

• --

> 원본 출처: GeekNews — Weave Router

> GitHub: github.com/workweave

---

📰 원본 출처 · https://news.hada.io/topic?id=31251 (#N=31251)

이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.