Ternlight — 브라우저(WASM)에서 실행되는 7MB 임베딩 모델

서버 호출 한 번 없이 브라우저 안에서 텍스트 임베딩과 유사도 검색을 끝낸다. Ternlight는 "7MB 임베딩 모델"이라는 한 줄 카피로 그 약속을 명확히 한다. 엔진과 가중치를 합쳐 7MB, mini 변형은 5MB이며 GPU 없이 CPU에서 동작한다. @ternlight/base를 설치한 뒤 embed와 similar 함수만 가져오면 3줄 수준으로 의미 기반 검색 흐름을 만들 수 있다. 레시피 데모에서 약 5ms에 상위 3개 결과를 정렬해 보여주는 수준이 기본 사양이다.

브라우저 안에서 끝나는 임베딩의 의미

기존 임베딩 파이프라인은 본질적으로 네트워크 비용과 직결된다. OpenAI, Cohere, Voyage 같은 상용 API는 호출당 과금이 붙고, 셀프호스팅 추론 서버는 GPU 인스턴스를 상시 띄워야 한다. WASM으로 컴파일된 Ternlight는 모델 가중치가 패키지 안에 들어가 있고, 추론이 브라우저 메인 스레드(또는 Web Worker)에서 직접 돈다. "서버 호출 없음"이라는 한 줄이 비용 구조, 지연 시간, 프라이버시 모델을 한꺼번에 바꾼다.

핵심 실행 특성은 다음과 같이 정리된다.

• API 호출 없음: 모든 추론이 클라이언트에서 완료 → 호출 과금·레이트 리밋·네트워크 실패가 사라짐
• 엔진 + 가중치 = 7MB: 초기 번들이 가볍고, lazy load 전략과 궁합이 좋음
• mini 변형 5MB: 더 작은 검색 인덱스나 모바일 우선 시나리오용
• 5ms 임베딩: 소규모 쿼리 응답이 사실상 동기 수준
• CPU 전용: GPU 없는 환경(저가형 노트북, 태블릿, CI 컨테이너)에서도 동일 성능

3줄 사용 예시

Ternlight의 사용성은 의도적으로 극단적으로 단순화돼 있다. 설치와 검색 흐름이 다음과 같이 압축된다.

npm install @ternlight/base

import { embed, similar } from '@ternlight/base';

const queryVec = await embed('how to use typescript with createContext');
const ranked = similar(queryVec, recipeEmbeddings).slice(0, 3);

레시피 목록을 미리 임베딩해 둔 뒤 쿼리만 실시간으로 임베딩하면 5ms 안에 정렬된 결과가 나온다. API 키 관리, 토큰 사용량 추적, 백엔드 캐시 무효화 같은 운영 부담이 모델 자체에서 제거된 셈이다.

실전 활용 시나리오

Ternlight는 "큰 모델이 꼭 필요한가"라는 질문에 대해 작은 모델로 풀 수 있는 해자를 명확히 한다. 긱뉴스 댓글에서도 "제품 데이터베이스에서 저렴하고 빠른 검색"이 대표 사용 사례로 언급됐다. 구체적으로 다음 영역에서 강점을 보인다.

• 사이드바/문서 검색: React 문서 검색 데모처럼 5MB @ternlight/mini로 SPA 내부 검색을 즉시 구현
• 로컬 우선 노트 앱: Obsidian, Logseq 류의 오프라인 노트에서 "30초 임베딩을 미리 만들어두고 브라우저로 보내는" 색인 워크플로
• Edge/Worker 배포: Cloudflare Workers, Deno Deploy 같은 WASM 지원 런타임에서 사용자 가까이 추론 배치
• 프라이버시 민감 도메인: 의료·법률 메모처럼 데이터를 외부로 보내면 안 되는 경우의 로컬 의미 검색

한계와 주의점

긱뉴스 댓글에서 "typescript with createContext" 쿼리의 데모 결과가 typescript 항목뿐이라는 피드백이 나왔다. 이는 작은 임베딩 모델이 가진 본질적 한계 — 학습 코퍼스의 도메인 편향과 컨텍스트 길이 제한 — 이 드러난 사례다. Ternlight가 만능은 아니라는 점을 다음 조건에서 미리 인지할 필요가 있다.

• 장문 쿼리·문서 부적합: 5MB 모델은 긴 문서 임베딩에서 정보 손실이 큼 → 요약 후 임베딩하거나 청크 분할 필요
• 도메인 특화 용어 약함: 법률·의학 등 전문 용어 검색은 파인튜닝된 모델이 압도적
• 다국어 품질 편차: 영문 중심 코퍼스로 학습된 경우 한국어·일본어 품질이 다를 수 있음
• 정확도보다 속도 우선: 5ms 응답은 "정확한 검색"이 아니라 "충분히 쓸 만한 검색"에 해당

전망: 작은 모델이 가져오는 UX 변화

Ternlight 같은 WASM 임베딩 모델이 흥미로운 이유는 "임베딩을 API로 호출한다"는 패러다임을 "임베딩을 라이브러리로 import 한다"로 전환하기 때문이다. 이는 2023년 이후 LLM이 클라우드 종속에서 점차 로컬 추론(Inference.cpp, Ollama, MLC-LLM)으로 내려온 흐름과 같은 방향이다. 임베딩은 그보다 한 단계 가벼운 영역이라 가장 먼저 "프런트엔드 디펜던시" 형태로 정착할 가능성이 높다.

앞으로 1~2년 안에 다음과 같은 변화가 예상된다.

1. 번들 사이즈 최적화: 7MB → 3MB 이하로 가중치 양자화·蒸馏 진행
2. WebGPU 가속: CPU 전용 한계를 넘어 브라우저 GPU로 5ms → 1ms 응답
3. 멀티모달 확장: 텍스트뿐 아니라 이미지·오디오 임베딩도 WASM 패키지로 제공
4. 검색 UX 표준화: "사이드바에 검색창이 있는 정적 사이트"가 기본 스펙이 됨

요약

• Ternlight는 7MB WASM 임베딩 모델로, 서버 호출 없이 브라우저에서 5ms 안에 텍스트 임베딩·유사도 검색을 끝낸다
• 사용법은 npm install @ternlight/base 후 embed/similar 두 함수만 알면 되는 3줄 수준으로 단순화
• 사이드바 검색, 로컬 우선 노트 앱, Edge 배포, 프라이버시 도메인이 대표 활용처
• 한계: 장문·전문 도메인·다국어 품질은 작은 모델의 본질적 제약 — 요약·청크·파인튜닝으로 보완 필요
• 전망: 7MB → 3MB 양자화, WebGPU 가속, 멀티모달 확장으로 "프런트엔드 임베딩 라이브러리"가 새로운 표준이 될 가능성

작은 모델이 가져오는 변화는 크다. 임베딩은 이제 API 엔드포인트가 아니라 npm 의존성으로 다룰 시대가 오고 있다.