Weave Router — 프롬프트마다 최적의 모델로 자동 라우팅하는 LLM 프록시

LLM 에이전트를 운영하다 보면 한 가지 모델에 묶여있기가 어렵습니다. 추론이 깊어야 하는 요청은 Claude Opus, 비용이 민감한 일상 작업은 Gemini Flash나 OSS 모델이 더 효율적이기 때문입니다. 그런데 매번 개발자가 모델을 직접 갈아끼우는 건 비효율적이고, 에이전트 코드에 공급자 분기를 박아두면 곧 굳어버립니다.

• Weave Router는 이 문제를 단일 드롭인 프록시로 풀어낸 오픈소스 도구입니다. Anthropic Messages, OpenAI Chat Completions, Gemini native 세 API를 모두 받아서 한 번에 라우팅하고, 매 요청을 50ms 이내에 가장 적합한 모델로 보냅니다. 포인트는 단순한 키워드 매칭이 아니라 on-box embedder + 클러스터 스코어러*로 프롬프트 성격을 수치화해 결정한다는 점입니다. (arxiv 2508.12631 Avengers-Pro에서 파생된 방식입니다.)

라우팅이 가져오는 실용적 이점

핵심은 비용입니다. 발표자에 따르면 엔드포인트 URL만 라우터로 바꾸는 것만으로 40~70% 비용 절감이 가능하다고 합니다. 같은 품질을 더 싼 모델로 보내고, 정말 추론이 필요한 요청만 비싼 모델로 보내는 식입니다.

• BYOK 기본: 사용자가 공급자 키를 로컬에 암호화하여 저장 — 라우터 운영자가 키를 수집하지 않습니다.
• 다중 공급자: Anthropic / OpenAI / Gemini 네이티브 + DeepSeek, Kimi, GLM, Qwen, Llama, Mistral 같은 OSS 모델은 OpenRouter 또는 OpenAI 호환 엔드포인트 경유.
• 스트리밍·툴·비전 모두 지원 — 단순 챗봇이 아니라 에이전트 워크플로 그대로 끌어와 쓸 수 있습니다.
• OTLP 트레이스 기본 제공 — Weave 대시보드 / Honeycomb / Datadog / Grafana 등 옵저버빌리티 백엔드에 그대로 연결됩니다.

설치도 단순합니다. npx @workweave/router 한 줄로 로컬에 프록시가 떠오르고, 포트는 기본 8080입니다.

CLI 에이전트와 연결하기

라우터의 진짜 가치는 Claude Code, Codex, opencode, Cursor 같은 기존 CLI 에이전트에 그대로 꽂을 수 있다는 점입니다. 에이전트 코드 자체를 손대지 않아도 됩니다.

| 에이전트 | 연결 방법 |

|---|---|

| Claude Code | make install-cc 실행. 슬래시 명령 /router-off, /router-on, /router-status로 즉시 토글 |

| Codex | npx @workweave/router --codex 실행하면 ~/.codex/config.toml을 자동 패치 |

| opencode | npx @workweave/router --opencode로 번들된 @ai-sdk/anthropic 공급자가 라우터 /v1 엔드포인트를 사용하도록 설정. Anthropic Messages API 네이티브 지원이라 코드 수정 없이 동작 |

| Cursor | 아직 초기 베타. Settings → Models → Override OpenAI Base URL에 http://localhost:8080/v1 입력 |

이렇게 연결해두면 사용자는 한 에이전트 인터페이스에 머무르면서, 실제 처리는 라우터가 백그라운드에서 가장 싸고 적합한 모델에 위임합니다.

라이선스와 운영 시 주의점

라이선스는 Elastic License 2.0입니다. 상용 SaaS로 재배포하지 않는 한 내부 사용 / 자체 호스팅은 자유롭고, 소스는 github.com/workweave/router에서 받을 수 있습니다.

다만 댓글에서 지적된 운영 함정도 있습니다 — LLM 서비스 자체의 프롬프트 캐시 레이어를 라우터 뒤에서는 활용하기 어렵습니다. 같은 쿼리를 반복하는 워크로드라면 캐시 미스로 비용이 오히려 늘어날 수 있다는 점은 도입 전에 워크로드 성격으로 따져볼 만합니다.

> 원본 출처: GeekNews #31251 — Weave Router

---

📰 원본 출처 · https://news.hada.io/topic?id=31251 (#N=31251)

이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.