Needle 2 - 14MB 에이전트 LLM이 만드는 온디바이스 AI의 새 기준

온디바이스 AI의 새 기준, Needle 2

최근 LLM 시장은 거대 모델 위주로 흘러갔지만, Needle 2는 정반대 방향을 제시합니다. 14MB라는 극단적으로 작은 크기로 스마트폰·웨어러블·스마트홈·로봇에서 바로 실행되는 에이전트 LLM입니다. 이 글에서는 Needle 2가 어떻게 14MB 안에 들어왔는지, 어떤 구조로 작동하는지, 그리고 어디에 실전 활용할 수 있는지 정리합니다.

왜 14MB인가 — 크기 제약의 의미

대부분의 경량 LLM이 1B~3B 파라미터 규모에서 GB 단위 메모리를 요구하는 것과 달리, Needle 2는 14MB로 패키징되어 배포됩니다. 이는 양자화와 아키텍처 압축이 한계에 다다른 것처럼 보이지만, 실제로는 "에이전트 작업에 꼭 필요한 토큰 범위"만 다루도록 설계 범위를 좁힌 결과입니다. 일반 대화형 LLM처럼 자유로운 문장 생성을 목표하지 않고, 정해진 도구 호출·센서 입력 처리·간단한 추론 같은 한정된 작업을 안정적으로 수행하는 데 집중합니다.

14MB라는 크기는 모바일 앱 스토어 심사 기준에도 자연스럽게 들어맞고, OTA 업데이트로도 빠르게 배포할 수 있다는 운영상 이점을 줍니다. 매 배포마다 GB 단위 다운로드가 필요한 다른 모델과 비교하면 사용자 이탈률은 현저히 낮아집니다.

아키텍처 핵심 — 어떻게 줄였나

Needle 2의 핵심은 (a) 사전학습된 일반 모델을 전이학습 없이 작은 도메인 데이터로 처음부터 학습한 점, (b) 토크나이저와 임베딩 테이블을 분리 압축한 점, (c) 어텐션 헤드 수와 레이어 수를 동적으로 줄여 작업 복잡도에 맞춘 점입니다. 결과적으로 같은 정확도를 내는 더 큰 모델 대비 메모리 footprint가 1/100 수준입니다.

또한 Needle 2는 추론 시 KV 캐시를 메모리에 영구 보관하지 않고 매 요청마다 새로 계산합니다. 이 trade-off는 응답 지연을 약간 늘리는 대신, 동시 요청 처리 능력을 크게 끌어올려 여러 센서 입력을 동시에 처리해야 하는 로봇·웨어러블 시나리오에 잘 맞습니다.

실전 활용 시나리오

Needle 2가 가장 강점을 보이는 영역은 (1) 스마트폰 알림 분류·요약 (2) 스마트워치 음성 명령 해석 (3) 스마트홈 IoT 디바이스 상태 추론 (4) 소형 로봇의 동작 선택입니다. 이 모든 영역에서 클라우드 호출 없이 디바이스 안에서 추론이 끝나기 때문에 네트워크 지연·개인정보 노출·운영 비용 문제가 동시에 사라집니다.

한계와 주의점

14MB 크기의 대가로 Needle 2는 자유로운 한국어·영어 혼용 대화나 긴 문서 요약에는 적합하지 않습니다. 또한 도메인 외 작업(예: 수학 문제 풀이, 코드 리뷰)은 정확도가 크게 떨어집니다. 도입 전 "이 디바이스에서 정말 필요한 작업이 무엇인가"를 좁혀 정의하는 것이 성공의 핵심입니다.

요약

Needle 2는 "작은 크기 + 도메인 한정 + 에이전트 작업"이라는 명확한 설계 철학 위에서 14MB 안에 들어온 초소형 LLM입니다. 온디바이스 AI가 단순 클라이언트 역할을 넘어 자체 의사결정을 해야 하는 시나리오에서, Needle 2는 현재 가장 가벼운 선택지 중 하나입니다. 다음 글에서는 Needle 2를 실제 스마트워치에 올려 응답 지연과 배터리 소모를 측정해 보겠습니다.

from needle_runtime import Agent
import json

agent = Agent(model="needle2-14mb", device="mobile")
result = agent.run(
    task="summarize_notification",
    input={"title": "배터리 15% 이하", "body": "충전기를 연결하세요"},
    max_tokens=32,
)
print(json.dumps(result, ensure_ascii=False))

원문: 긱뉴스 — Needle 2 14MB 에이전트 LLM

---

📰 원본 출처 · https://news.hada.io/topic?id=32389 (#N=32389)

이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.