GeekNews에 공유된 Bonsai 27B는 PrismML이 공개한 27B급 오픈 모델입니다. Qwen3.6 27B를 기반으로 추론, 도구 호출, 비전, 컴퓨터 사용까지 지원하면서도 iPhone 메모리 한도 안에서 돌아가도록 설계됐다는 점이 핵심입니다.
5.9GB의 Ternary 모델과 3.9GB의 1-bit 모델 두 가지 변형을 공개했는데, 둘 다 4비트로 양자화한 기존 27B 모델(약 18GB)과 비교하면 메모리 점유율이 1/3~1/5 수준입니다. 15개 사고 모드 벤치마크에서 완전 정밀도 기준 성능의 90~95%를 유지했고, M5 Max에서 87 tok/s, RTX 5090에서 163 tok/s까지 뽑아냅니다. 262K 토큰 문맥, 4비트 비전 타워, 추측 디코딩까지 지원하니 사실상 "휴대폰에서 굴리는 경량 에이전트 런타임"으로 봐도 무방합니다.
- 기존 27B 모델은 4비트로 줄여도 18GB에 달하지만, PrismML은 Qwen3.6 27B를 기반으로 추론·도구 호출·비전·컴퓨터 사용을 지원하는 Bonsai 27B를 iPhone의 메모리 한도에 맞춤
- 품질 중심의 Ternary 모델은 가중치당 1.71비트로 5.9GB, 용량 중심의 1-bit 모델은 1.125비트로 3.9GB이며, 언어 네트워크 전체에 저비트 표현을 적용함
- 사고 모드의 15개 벤치마크에서 Ternary 모델은 완전 정밀도 기준 성능의 95%, 1-bit 모델은 90% 를 유지했고 종합 점수는 각각 80.5점과 76.1점임
- NVIDIA GeForce RTX 5090에서 최대 163 tok/s, M5 Max에서 최대 87 tok/s를 기록하며 262K 토큰 문맥, 4비트 비전 타워, 추측 디코딩을 지원함
- 로컬 실행은 반복적인 에이전트 작업의 단계별 API 비용과 데이터 전송을 없애며, 민감한 작업은 기기에서 처리하고 어려운 단계만 클라우드로 보내는 하이브리드 배포를 가능하게 함
27B급 모델을 휴대폰에 넣는 방법
- 기존 27B 모델은 16비트 정밀도에서 약 54GB, 일반적인 4비트 빌드에서도 18GB를 차지해 휴대폰과 대부분의 노트북에 로컬로 배포하기 어려움
- Qwen3.6 27B 기반의 Bonsai 27B는 다단계 추론, 구조화된 도구 호출, 비전 작업과 함께 여러 단계에서 일관성을 유지하는 컴퓨터 사용 에이전트 루프를 지원함
- 두 가지 저비트 구성은 서로 다른 배포 환경을 겨냥함
- Ternary Bonsai 27B는 `{−1, 0, +1}` 가중치와 FP16 그룹별 스케일링을 사용해 가중치당 실효 1.71비트, 5.9GB 크기를 달성함
- 노트북급 품질을 목표로 하며 전체 추론·도구 호출·에이전트 기능을 제공함
- 1-bit Bonsai 27B는 `{−1, +1}` 가중치와 같은 그룹별 스케일링을 사용해 가중치당 실효 1.125비트, 3.9GB 크기를 달성함
- iPhone 17 Pro의 메모리 예산 안에 들어가는 휴대폰급 용량에 초점을 맞춤
종단 간 저비트·멀티모달 구성
- 저비트 표현은 임베딩, 어텐션, MLP, LM head를 포함한 언어 네트워크 전체에 적용되며, 일부 구간을 더 높은 정밀도로 우회하지 않음
- 두 모델 모두 멀티모달이며 비전 타워는 압축된 4비트 형식으로 제공돼 스크린샷·문서·카메라 입력을 기기에서 처리할 수 있음
- 최대 262K 토큰 문맥을 지원함
- 초안을 생성한 뒤 검증하는 무손실 가속 방식인 추측 디코딩을 사용할 수 있음
- 모델 가중치는 Apache 2.0 License로 제공됨
15개 벤치마크에서 유지한 성능
- 모델의 전체 추론 능력을 사용하는 사고 모드에서 지식, 추론, 수학, 코딩, 지시 이행, 도구 호출, 비전을 아우르는 15개 벤치마크를 평가함
- 완전 정밀도 Qwen3.6 27B의 종합 점수는 85.0점이며, Ternary Bonsai 27B는 80.5점, 1-bit Bonsai 27B는 76.1점을 기록함
- Ternary 모델은 완전 정밀도 기준 성능의 95% 를 유지함
- 1-bit 모델은 기준 성능의 90% 를 유지함
- 영역별 점수는 다음과 같음
- 수학 — GSM8K, MATH-500, AIME25, AIME26: 완전 정밀도 95.3, Ternary 93.4, 1-bit 91.7
- 코딩 — HumanEval+, MBPP+, LiveCodeBench: 완전 정밀도 88.7, Ternary 86.0, 1-bit 81.9
- 에이전트·도구 호출 — BFCL v3, TauBench: 완전 정밀도 80.0, Ternary 74.0, 1-bit 66.0
- 지시 이행 — IFEval, IFBench: 완전 정밀도 78.4, Ternary 71.8, 1-bit 65.8
- 지식·STEM — MMLU-Redux, MuSR: 완전 정밀도 83.1, Ternary 77.0, 1-bit 73.4
- 비전 — MMMU Pro, OCRBench: 완전 정밀도 72.6, Ternary 65.2, 1-bit 59.6
- 수학과 코딩은 성능 감소가 상대적으로 작고, Ternary 모델의 도구 호출 성능도 완전 정밀도에 가까운 수준을 유지함
- 같은 기반 모델에 적용한 가장 공격적인 일반 저비트 빌드는 1-bit Bonsai 27B보다 메모리를 2.5배 더 사용하면서도 더 낮은 점수를 기록함
기가바이트당 지능 밀도
- 1-bit Bonsai 27B는 완전 정밀도 2B 모델보다 작은 용량으로 27B급 성능을 제공함
- PrismML이 1-bit Bonsai 8B에서 도입한 지능 밀도 기준으로 1-bit Bonsai 27B는 GB당 0.53을 기록함
- 완전 정밀도 기준보다 10배 이상 높음
- 사용 가능한 최상위 저비트 대안보다 약 2.7배 높음
- 이 구분에서 모델의 절대 능력은 수행할 수 있는 작업을 결정하고, 지능 밀도는 그 작업을 실행할 수 있는 기기와 환경을 좌우함
지속형 에이전트 작업을 로컬로 옮기기
- AI 작업은 단일 응답에서 벗어나 실제 도구를 사용하는 비서, 무인 워크플로, 수십 개 문서를 종합하는 연구처럼 지속적인 작업으로 이동하고 있음
- 에이전트는 모델을 한 번이 아니라 수백 번 호출하며, 각 단계에서 문맥을 전달하고 구조화된 출력을 만든 뒤 다음 단계의 입력으로 사용함
- 클라우드 API는 여전히 많은 제품에 적합하지만, 에이전트 작업을 클라우드에서만 실행하면 구조적 제약이 생김
- 모든 단계가 원격 요청으로 처리됨
- 반복할 때마다 토큰 비용이 누적됨
- 계획, 도구 호출, 중간 결과뿐 아니라 사용자의 개인 파일·화면·데이터까지 네트워크를 통과함
- 기기에서 충분한 능력의 모델을 실행하면 에이전트를 제품 내부에 둘 수 있음
- 100단계 루프에서도 추가 모델 호출 비용이 발생하지 않음
- 사용자 데이터가 기기를 떠나지 않음
- 지속형 온디바이스 에이전트, 오프라인 비서, 로컬 비공개 데이터를 직접 처리하는 비서를 구현할 수 있음
- 민감하거나 프런티어급 성능이 필요 없는 작업은 로컬 모델로 보내고, 가장 어려운 단계만 클라우드 모델에 맡기는 하이브리드 아키텍처로 에이전트 시스템의 작업당 비용을 낮출 수 있음
실행 속도와 휴대폰 메모리 제약
- NVIDIA GeForce RTX 5090에서 측정한 최대 생성 속도는 다음과 같음
- 1-bit 모델: 163 tok/s
- Ternary 모델: 134 tok/s
- M5 Max에서 측정한 최대 생성 속도는 다음과 같음
- 1-bit 모델: 87 tok/s
- Ternary 모델: 58 tok/s
- 휴대폰 앱은 기기의 전체 메모리를 사용할 수 없으며, 12GB iPhone에서도 모델이 쓸 수 있는 메모리는 약 6GB임
- 이 예산에는 모델 가중치뿐 아니라 KV 캐시와 활성값도 들어가야 하므로 저장 파일 크기만 줄이는 것으로는 충분하지 않음
- 약 4GB인 1-bit Bonsai 27B는 작업에 필요한 여유 공간을 남기면서 이 메모리 한도를 충족함
- iPhone 17 Pro Max의 멀티모달 에이전트 데모는 캐시와 사전 입력된 이미지 문맥을 사용하는 데모 모드로 실행됨
지원 플랫폼과 배포 방식
- Apple 기기에서는 MLX를 통해 Mac, iPhone, iPad에서 네이티브로 실행함
- NVIDIA GPU에서는 CUDA를 사용함
- 두 플랫폼 모두 하이브리드 어텐션 아키텍처에 맞춰 제작한 사용자 정의 저비트 커널을 활용함
- 제한된 기간 동안 개발자가 모델을 시험할 수 있는 무료 개발자 프리뷰 API를 제공함
- 압축·평가·벤치마킹 과정의 전체 기술 세부 사항은 Bonsai 27B 백서에서 확인할 수 있음
더 큰 모델과 새로운 아키텍처
- Bonsai 27B는 사고, 멀티모달 이해, 비전, 도구 사용을 포함한 현대적 모델의 기능을 일반 사용자가 보유한 기기에서 실행할 수 있는 크기로 줄임
- 압축 방법론은 특정 아키텍처에 종속되지 않으며, PrismML은 더 큰 모델과 새로운 아키텍처를 개발 중임
- 지능 밀도가 높아질수록 고급 AI를 실행할 수 있는 기기·제품·환경의 범위가 휴대폰부터 단일 GPU 서버까지 넓어짐
한국 시장에서의 시사점
한국에서도 온디바이스 LLM을 제품에 넣으려는 시도는 이미 있었습니다. 삼성 가우스 경량화, 네이버 하이퍼클로바X 라이트, 카카오 캔바 mini 같은 모델이 있지만, 대부분 3B 이하 스몰 모델을 노선으로 잡았고 27B급을 그대로 폰에 넣겠다는 시도는 드뭅니다. Bonsai가 증명한 "Qwen3.6 27B를 5.9GB로" 라는 경로는 한국 LLM厂商(제조사)에도 시사점이 큽니다.
특히 보안·의료·금융 같은 데이터 주권이 민감한 도메인에서는 클라우드를 거치지 않고 단말에서 추론을 끝내는 것이 곧 경쟁력입니다. 27B급 모델이 iPhone에서 87 tok/s로 돌 수 있다는 사실은 "1차 추론은 단말, 2차 검증은 서버" 같은 하이브리드 아키텍처를 가능하게 합니다. 토큰 비용을 단계별로 깎고 싶거나, 민감 정보를 단말 밖으로 빼고 싶거나, 망 연결이 불안정한 현장(공장, 차량, 의료기기)에 LLM을 심고 싶다면 Bonsai 27B는 가장 현실적인 출발점이 될 겁니다.
다만 한국어 품질은 검증이 필요합니다. Qwen3.6 기반 모델이 영문 위주 학습 코퍼스로 학습됐을 가능성이 높고, 5.9GB로 압축하는 과정에서 한국어 토큰 처리 효율이 어떻게 떨어지는지는 별도 벤치마크가 필요합니다. 한국어 27B 온디바이스가 가능해지는 시점이 한국 AI 에이전트 생태계의 다음 분기점이 될 가능성이 큽니다.
원문: GeekNews #31450 Bonsai 27B
📰 원본 출처 · https://news.hada.io/topic?id=31450 (#N=31450)
이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.