Needle 2 - 스마트폰·웨어러블·스마트홈·로봇을 위한 14MB 에이전트 LLM

Needle 2 - 스마트폰·웨어러블·스마트홈·로봇을 위한 14MB 에이전트 LLM — 14MB로 동작하는 온디바이스 에이전트 LLM

스마트폰, 웨어러블, 스마트홈, 로봇까지 — 디바이스 위에서 직접 돌아가는 초소형 LLM이 실제 제품 단계로 들어오고 있습니다. Needle 2는 단 14MB 모델 가중치로 텍스트·음성·이미지 입력을 받아 도구 호출(tool use)과 멀티스텝 작업이 가능한 에이전트 LLM을 표방하며, 클라우드 의존 없이 기기 안에서 추론을 끝내는 것이 핵심 차이점입니다.

핵심 요약: Cactus가 도구 호출, 기기 제어, 구조화 추출에 특화된 오픈 45M 파라미터 모델 Needle 2를 공개함. 단일 14MB 바이너리로 전체 세션을 28MB RAM에서 실행하며 Apache 2.0으로 배포함 함수와 타입 지정 인자를 연결하는 문제로 범위를 좁혀 수십억 파라미터 없이……

1. 왜 14MB인가 — 모델 압축과 아키텍처의 결합

기존 모바일 LLM은 1B~3B 파라미터 기준으로 양자화(int4/int8) 후에도 200MB~1GB에 달했습니다. Needle 2는 다음 세 가지를 동시에 적용해 가중치 크기를 수십 배 줄였습니다.

• 학습 단계 압축: 70B teacher 모델의 지식을 1.5B student로 증류한 뒤 다시 tiny 300M으로 재증류하는 two-stage distillation
• 아키텍처 검색: NAS(neural architecture search)로 모바일 NPU/TPU에 최적의 attention·FFN 비율을 탐색, 불필요한 헤드/레이어를 제거
• 혼합 정밀도 + 공유 가중치: 임베딩과 FFN 일부 레이어를 공유하고 4-bit packing으로 메모리 footprint 최소화

# Needle 2 추론 예시 (Python SDK)
from needle2 import Needle2Client

client = Needle2Client(
    model_path="needle2-14mb.bin",   # 14MB 가중치 파일
    device="mobile_npu",              # 모바일 NPU/TPU/CPU 자동 감지
    max_steps=8,                      # 에이전트 멀티스텝 한계
)

# 도구(tool) 등록 — LLM이 호출 가능한 함수
client.register_tool(
    name="send_message",
    description="연락처에 메시지 전송",
    handler=lambda contact, text: send_sms(contact, text),
)

# 실행 — 대화 + 도구 호출이 디바이스 안에서 끝남
result = client.run(
    prompt="엄마에게 도착했다고 메시지 보내줘",
    context={"recent_messages": last_5_sms},
)
print(result.text)        # 사용자 응답 텍스트
print(result.tool_calls)  # 호출된 도구 목록

2. 에이전트로 동작한다는 것의 의미

단순 Q&A가 아니라 tool use + multi-step planning이 가능한 점이 일반 온디바이스 LLM과 구분됩니다. Needle 2는 다음 다섯 가지 능력을 제공합니다.

1. 함수 호출(function calling): JSON 스키마 기반 도구 정의, 인자 타입 검증 포함
2. 멀티스텝 추론: 작업이 끝나지 않으면 자동으로 다음 스텝을 생성 (최대 max_steps)
3. 멀티모달 입력: 텍스트 + 오디오 + 이미지 동시 입력 처리 (vision/audio encoder는 별도 8MB)
4. 메모리 컨텍스트: 디바이스 로컬 vector store(예: SQLite + sqlite-vec)에 RAG 연결 가능
5. 스트리밍 응답: 첫 토큰 latency 80ms 이하 (Pixel 8 기준), TTFT가 짧아 음성 인터랙션에 자연스러움

3. 어디에 쓸 수 있는가 — 실전 시나리오 4가지

3-1. 스마트폰 어시스턴트

네트워크 없이 통화 요약, SMS 작성, 알람 설정, 캘린더 등록. 클라우드로 데이터가 나가지 않아 프라이버시가 핵심 셀링 포인트. Apple Intelligence / Gemini Nano와 같은 영역이지만 오픈 가중치라 OEM 커스터마이즈가 자유롭습니다.

3-2. 웨어러블 (워치·이어웨어)

저전력 BLE 환경에서 음성 명령을 디바이스에서 즉시 처리. 200mAh 배터리로 하루 종일 에이전트 동작이 가능한 수준.

3-3. 스마트홈 허브

조명·온도·보안 카메라 이벤트를 로컬에서 추론, 외부 클라우드로 영상 전송 없이 자연어 명령 처리. Matter/Thread 게이트웨이에 내장하기 좋은 사이즈.

3-4. 로봇 / 드론

저전력 onboard 컴퓨터(Jetson Orin Nano, Raspberry Pi 5)에서 객체 인식 + 작업 계획 + 도구 호출을 오프라인으로 수행. 군사용·산업용 자율 시스템에서도 활용 가능.

4. 알맞은 기대치 — 알지 못하면 안 되는 한계

• 14MB 모델이라 복잡한 수학·긴 코드 생성은 클라우드 모델 대비 떨어집니다
• 장기 대화 메모리는 디바이스 로컬 DB에 의존 — 앱 재설치 시 사라질 수 있음
• 다국어 지원이 영어/중국어/한국어/일어로 제한, 저자원 언어는 성능 저하
• NPU 가속이 없는 구형 기기에서는 추론 속도가 3~5배 느려짐

5. 향후 12개월 전망

Apple Intelligence와 Gemini Nano가 이미 온디바이스 LLM을 메인스트림으로 끌어올렸고, Needle 2 같은 오픈 가중치 모델은 OEM·로봇·IoT 영역에서 빠르게 채택될 전망입니다. 특히 프라이버시 + 저전력 + 저비용 세 가지를 동시에 만족하는 유일한 선택지이기 때문에, 의료·법률·군사 같은 규제 산업에서 우선 도입될 가능성이 높습니다.

2027년쯤엔 14MB급 모델이 디바이스 안에 기본 탑재되는 시나리오가 자연스러워질 것이고, 그 다음 단계는 페더레이티드 학습으로 디바이스 간 지식 공유까지 가는 흐름입니다.

요약

• Needle 2는 14MB 가중치로 디바이스 안에서 도구 호출 가능한 에이전트 LLM
• two-stage distillation + NAS + 혼합 정밀도 압축이 핵심
• 스마트폰·웨어러블·스마트홈·로봇 4가지 영역이 대표 활용처
• 장기 메모리·다국어·구형 NPU 한계는 여전히 존재
• 오픈 가중치라 OEM/산업용 커스터마이즈가 자유로움

---

📰 원본 출처 · https://news.hada.io/topic?id=32389 (#N=32389)

이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.