Bonsai 27B - 휴대폰에서 실행되는 27B급 온디바이스 모델이 보여준 것

PrismML이 공개한 Bonsai 27B는 흥미로운 질문 하나를 던집니다. "27B급 모델이 정말로 스마트폰에서 돌아갈 수 있는가?" 기존 27B 모델은 4비트로 양자화해도 18GB를 차지해 사실상 서버급 GPU 없이는 불가능했습니다. Bonsai는 Ternary(가중치당 1.71비트, 5.9GB)와 1-bit(약 1.2GB) 두 가지 변형을 제공하면서도 추론·도구 호출·비전·컴퓨터 사용 능력을 유지했다고 주장합니다.

여기서 핵심은 단순한 양자화 트릭이 아닙니다. 모델 아키텍처 자체를 온디바이스 환경에 맞춰 재설계했고, 동시에 추론 품질을 유지했다는 점이죠. 기존 온디바이스 LLM은 보통 1~3B급에 머물렀는데, 27B급이 iPhone에서 동작한다는 것은 단순한 메모리 효율화의 한 단계가 아니라 AI 에이전트가 개인 디바이스 안으로 본격 진입할 수 있는 기술적 토대가 마련됐다는 뜻입니다.

• 기존 27B 모델은 4비트로 줄여도 18GB에 달하지만, PrismML은 Qwen3.6 27B를 기반으로 추론·도구 호출·비전·컴퓨터 사용을 지원하는 Bonsai 27B를 iPhone의 메모리 한도에 맞춤
• 품질 중심의 Ternary 모델은 가중치당 1.71비트로 5.9GB, 용량 중심의 1-bit 모델은 1.125비트로 3.9GB이며, 언어 네트워크 전체에 저비트 표현을 적용함
• 사고 모드의 15개 벤치마크에서 Ternary 모델은 완전 정밀도 기준 성능의 95%, 1-bit 모델은 90% 를 유지했고 종합 점수는 각각 80.5점과 76.1점임
• NVIDIA GeForce RTX 5090에서 최대 163 tok/s, M5 Max에서 최대 87 tok/s를 기록하며 262K 토큰 문맥, 4비트 비전 타워, 추측 디코딩을 지원함
• 로컬 실행은 반복적인 에이전트 작업의 단계별 API 비용과 데이터 전송을 없애며, 민감한 작업은 기기에서 처리하고 어려운 단계만 클라우드로 보내는 하이브리드 배포를 가능하게 함

---

27B급 모델을 휴대폰에 넣는 방법

• 기존 27B 모델은 16비트 정밀도에서 약 54GB, 일반적인 4비트 빌드에서도 18GB를 차지해 휴대폰과 대부분의 노트북에 로컬로 배포하기 어려움
• Qwen3.6 27B 기반의 Bonsai 27B는 다단계 추론, 구조화된 도구 호출, 비전 작업과 함께 여러 단계에서 일관성을 유지하는 컴퓨터 사용 에이전트 루프를 지원함
• 두 가지 저비트 구성은 서로 다른 배포 환경을 겨냥함
• Ternary Bonsai 27B는 {−1, 0, +1} 가중치와 FP16 그룹별 스케일링을 사용해 가중치당 실효 1.71비트, 5.9GB 크기를 달성함
• 노트북급 품질을 목표로 하며 전체 추론·도구 호출·에이전트 기능을 제공함
• 1-bit Bonsai 27B는 {−1, +1} 가중치와 같은 그룹별 스케일링을 사용해 가중치당 실효 1.125비트, 3.9GB 크기를 달성함
• iPhone 17 Pro의 메모리 예산 안에 들어가는 휴대폰급 용량에 초점을 맞춤

종단 간 저비트·멀티모달 구성

• 저비트 표현은 임베딩, 어텐션, MLP, LM head를 포함한 언어 네트워크 전체에 적용되며, 일부 구간을 더 높은 정밀도로 우회하지 않음
• 두 모델 모두 멀티모달이며 비전 타워는 압축된 4비트 형식으로 제공돼 스크린샷·문서·카메라 입력을 기기에서 처리할 수 있음
• 최대 262K 토큰 문맥을 지원함
• 초안을 생성한 뒤 검증하는 무손실 가속 방식인 추측 디코딩을 사용할 수 있음
• 모델 가중치는 Apache 2.0 License로 제공됨

15개 벤치마크에서 유지한 성능

• 모델의 전체 추론 능력을 사용하는 사고 모드에서 지식, 추론, 수학, 코딩, 지시 이행, 도구 호출, 비전을 아우르는 15개 벤치마크를 평가함
• 완전 정밀도 Qwen3.6 27B의 종합 점수는 85.0점이며, Ternary Bonsai 27B는 80.5점, 1-bit Bonsai 27B는 76.1점을 기록함
• Ternary 모델은 완전 정밀도 기준 성능의 95% 를 유지함
• 1-bit 모델은 기준 성능의 90% 를 유지함
• 영역별 점수는 다음과 같음
• 수학 — GSM8K, MATH-500, AIME25, AIME26: 완전 정밀도 95.3, Ternary 93.4, 1-bit 91.7
• 코딩 — HumanEval+, MBPP+, LiveCodeBench: 완전 정밀도 88.7, Ternary 86.0, 1-bit 81.9
• 에이전트·도구 호출 — BFCL v3, TauBench: 완전 정밀도 80.0, Ternary 74.0, 1-bit 66.0
• 지시 이행 — IFEval, IFBench: 완전 정밀도 78.4, Ternary 71.8, 1-bit 65.8
• 지식·STEM — MMLU-Redux, MuSR: 완전 정밀도 83.1, Ternary 77.0, 1-bit 73.4
• 비전 — MMMU Pro, OCRBench: 완전 정밀도 72.6, Ternary 65.2, 1-bit 59.6
• 수학과 코딩은 성능 감소가 상대적으로 작고, Ternary 모델의 도구 호출 성능도 완전 정밀도에 가까운 수준을 유지함
• 같은 기반 모델에 적용한 가장 공격적인 일반 저비트 빌드는 1-bit Bonsai 27B보다 메모리를 2.5배 더 사용하면서도 더 낮은 점수를 기록함

기가바이트당 지능 밀도

• 1-bit Bonsai 27B는 완전 정밀도 2B 모델보다 작은 용량으로 27B급 성능을 제공함
• PrismML이 1-bit Bonsai 8B에서 도입한 지능 밀도 기준으로 1-bit Bonsai 27B는 GB당 0.53을 기록함
• 완전 정밀도 기준보다 10배 이상 높음
• 사용 가능한 최상위 저비트 대안보다 약 2.7배 높음



• 이 구분에서 모델의 절대 능력은 수행할 수 있는 작업을 결정하고, 지능 밀도는 그 작업을 실행할 수 있는 기기와 환경을 좌우함

지속형 에이전트 작업을 로컬로 옮기기

• AI 작업은 단일 응답에서 벗어나 실제 도구를 사용하는 비서, 무인 워크플로, 수십 개 문서를 종합하는 연구처럼 지속적인 작업으로 이동하고 있음
• 에이전트는 모델을 한 번이 아니라 수백 번 호출하며, 각 단계에서 문맥을 전달하고 구조화된 출력을 만든 뒤 다음 단계의 입력으로 사용함
• 클라우드 API는 여전히 많은 제품에 적합하지만, 에이전트 작업을 클라우드에서만 실행하면 구조적 제약이 생김
• 모든 단계가 원격 요청으로 처리됨
• 반복할 때마다 토큰 비용이 누적됨
• 계획, 도구 호출, 중간 결과뿐 아니라 사용자의 개인 파일·화면·데이터까지 네트워크를 통과함
• 기기에서 충분한 능력의 모델을 실행하면 에이전트를 제품 내부에 둘 수 있음
• 100단계 루프에서도 추가 모델 호출 비용이 발생하지 않음
• 사용자 데이터가 기기를 떠나지 않음
• 지속형 온디바이스 에이전트, 오프라인 비서, 로컬 비공개 데이터를 직접 처리하는 비서를 구현할 수 있음
• 민감하거나 프런티어급 성능이 필요 없는 작업은 로컬 모델로 보내고, 가장 어려운 단계만 클라우드 모델에 맡기는 하이브리드 아키텍처로 에이전트 시스템의 작업당 비용을 낮출 수 있음

실행 속도와 휴대폰 메모리 제약

• NVIDIA GeForce RTX 5090에서 측정한 최대 생성 속도는 다음과 같음
• 1-bit 모델: 163 tok/s
• Ternary 모델: 134 tok/s
• M5 Max에서 측정한 최대 생성 속도는 다음과 같음
• 1-bit 모델: 87 tok/s
• Ternary 모델: 58 tok/s
• 휴대폰 앱은 기기의 전체 메모리를 사용할 수 없으며, 12GB iPhone에서도 모델이 쓸 수 있는 메모리는 약 6GB임
• 이 예산에는 모델 가중치뿐 아니라 KV 캐시와 활성값도 들어가야 하므로 저장 파일 크기만 줄이는 것으로는 충분하지 않음
• 약 4GB인 1-bit Bonsai 27B는 작업에 필요한 여유 공간을 남기면서 이 메모리 한도를 충족함
• iPhone 17 Pro Max의 멀티모달 에이전트 데모는 캐시와 사전 입력된 이미지 문맥을 사용하는 데모 모드로 실행됨

지원 플랫폼과 배포 방식

• Apple 기기에서는 MLX를 통해 Mac, iPhone, iPad에서 네이티브로 실행함
• NVIDIA GPU에서는 CUDA를 사용함
• 두 플랫폼 모두 하이브리드 어텐션 아키텍처에 맞춰 제작한 사용자 정의 저비트 커널을 활용함
• 제한된 기간 동안 개발자가 모델을 시험할 수 있는 무료 개발자 프리뷰 API를 제공함
• 압축·평가·벤치마킹 과정의 전체 기술 세부 사항은 Bonsai 27B 백서에서 확인할 수 있음

더 큰 모델과 새로운 아키텍처

• Bonsai 27B는 사고, 멀티모달 이해, 비전, 도구 사용을 포함한 현대적 모델의 기능을 일반 사용자가 보유한 기기에서 실행할 수 있는 크기로 줄임
• 압축 방법론은 특정 아키텍처에 종속되지 않으며, PrismML은 더 큰 모델과 새로운 아키텍처를 개발 중임
• 지능 밀도가 높아질수록 고급 AI를 실행할 수 있는 기기·제품·환경의 범위가 휴대폰부터 단일 GPU 서버까지 넓어짐

한국 시장에서의 시사점

한국 모바일 시장에서도 Bonsai 같은 온디바이스 모델이 가져오는 변화는 작지 않습니다. 삼성 갤럭시 온디바이스 AI, 네이버 하이퍼클로바X 경량 버전, 카카오 캔(Kanana) 모바일 변형 등 우리 업계도 이미 온디바이스 AI 라인업을 갖추고 있죠. Bonsai 27B의 5.9GB 메모리 풋프린트는 갤럭시 S25 울트라의 12GB RAM에서도 충분히 여유 있는 수치입니다.

특히 프라이버시 민감 영역(의료, 금융, 개인 문서 요약, 번역, 음성 비서)에서 클라우드 호출 없이 모든 처리가 끝난다는 것은 데이터 주권과 처리 지연 양쪽에서 결정적 이점이 됩니다. 한국은 GDPR보다 더 엄격한 개인정보보호법과 AI기본법을 동시에 운영하기 때문에, 온디바이스 AI는 단순한 성능 최적화가 아닌 규제 회피 인프라로 자리 잡을 가능성이 높습니다.

다만 아직 1-bit 모델은 추론 품질 저하가 불가피하고, Ternary 모델도 5.9GB는 여전히 앱 전체 메모리 한도의 상당 부분을 차지합니다. 본격적인 온디바이스 에이전트 시대를 열기 위해서는 모델 크기·전력 소모·발열 관리 세 축의 추가 최적화가 필요해 보입니다.

원문: GeekNews #31450 — Bonsai 27B

---

📰 원본 출처 · https://news.hada.io/topic?id=31450 (#N=31450)

이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.