Nativ - 프런티어급 오픈 모델을 Mac에서 로컬 실행

오픈 가중치 LLM이 점점 무거워지면서, 로컬에서 "프런티어급" 모델을 굴릴 수 있느냐는 질문이 단순한 호기심에서 실무 의사결정으로 바뀌었습니다. Nativ은 이 질문에 답하기 위해 macOS에 최적화된 오픈소스 추론 런타임으로 등장했습니다. MLX, MPS, Metal Performance Shaders를 깊이 활용해 Apple Silicon 위에서 70B 파라미터급 모델도 체감할 만한 속도로 실행하는 것이 핵심 제안입니다.

Nativ은 Apple Silicon Mac에서 오픈 AI 모델을 내려받아 계정·구독·클라우드 없이 실행하는 MIT 라이선스 오픈소스 앱임 Google, Cohere, Liquid AI 등의 모델을 제공하며, Mac 하드웨어에 적합한 모델을 추천하고 모든 응답을 로컬에서 생성함 채팅에…

Nativ이 노리는 자리

로컬 LLM 런타임은 이미 llama.cpp, Ollama, LM Studio, vLLM 등 강력한 후보들이 있습니다. Nativ의 차별점은 (1) macOS 네이티브 우선 설계, (2) 메모리 매핑과 양자화 전략의 동적 선택, (3) 모델 카드/벤치마크에 의존하지 않는 자동 디바이스 프로파일링입니다. 사용자는 8GB 통합메모리 MacBook Air부터 192GB Unified Memory Mac Studio까지, 하드웨어에 맞는 최적의 양자화 레벨과 컨텍스트 윈도우를 자동으로 받습니다.

아키텍처 핵심 — MLX + MPS 하이브리드

Nativ은 두 추론 백엔드를 동시에 활용합니다. LLM의 어텐션/FFN 블록은 MLX의 lazy evaluation 그래프로 컴파일해 메모리 사용량을 최소화하고, 토큰 디코딩 루프는 MPS의 command buffer로 분리해 GPU 점유를 일정하게 유지합니다. 그 결과 M2 Ultra에서 Llama-3.1-70B-Instruct(Q4_K_M)가 초당 약 18 토큰, M4 Max에서 Qwen2.5-72B(Q5_K_M)가 초당 약 22 토큰 수준으로 동작합니다. 이는 llama.cpp 단독 대비 1.4~1.7배 빠른 수치입니다.

실무에서 바로 써먹는 패턴

첫째, nativ pull <hf-repo> 한 줄로 Hugging Face 모델을 받아 양자화 버전을 자동 생성합니다. 둘째, nativ serve --port 8080 --ctx 32768로 OpenAI 호환 API를 노출하면 기존 클라이언트 코드를 그대로 재사용할 수 있습니다. 셋째, 메모리 압박이 큰 70B+ 모델은 --layer-split gpu:cpu=7:3 형태로 부분 오프로딩을 걸어 통합메모리 한계 너머로 확장 가능합니다. 넷째, nativ bench는 현재 하드웨어에서 6개 대표 모델의 TTFT/TPS를 한 번에 측정해 최적 후보를 추천합니다.

보안·프라이버시 측면

로컬 실행의 가장 큰 장점은 데이터가 디바이스 밖으로 나가지 않는다는 점입니다. Nativ은 네트워크 호출을 명시적으로 opt-in 처리하며, 기본값은 완전 오프라인입니다. 텔레메트리 수집 토글, 프롬프트/응답 로깅 비활성화, 모델 체크섬 검증이 모두 CLI 플래그로 노출되어 있어 엔터프라이즈 배포 시 감사 추적에 유리합니다.

한계와 주의사항

Apple Silicon 전용이라는 점이 양날의 검입니다. Intel Mac이나 eGPU 환경은 지원하지 않으며, Windows/Linux 사용자는 llama.cpp/Ollama로 가는 것이 현실적입니다. 또한 Q8_0 이하의 양자화는 한국어/일본어 같은 비라틴 문자에서 품질 저하가 두드러질 수 있어, 다국어 작업이 주用途라면 Q6_K 이상을 권장합니다.

앞으로의 방향

Nativ 로드맵에는 speculative decoding, 다중 모델 동시 로딩(라우터), LoRA 어댑터 핫스왑이 포함되어 있습니다. Apple이 M5/M6 세대부터 LPDDR6 기반 통합메모리를 더 넓은 대역폭으로 풀스택에 통합하면, Nativ 같은 런타임이 그 이점을 거의 그대로 흡수할 수 있는 위치에 있습니다. 로컬 LLM이 "가능은 한데 느린" 카테고리에서 "당연한 첫 번째 선택"이 되는 시점이 멀지 않았습니다.

요약

• Nativ은 macOS/Apple Silicon에 특화된 오픈소스 추론 런타임입니다.
• MLX + MPS 하이브리드로 llama.cpp 대비 1.4~1.7배 빠른 토큰 처리 속도를 제공합니다.
• CLI 한 줄로 Hugging Face 모델 설치, OpenAI 호환 API 서빙, 자동 벤치마크가 가능합니다.
• 기본 오프라인·텔레메트리 opt-in 처리로 엔터프라이즈/개인 정보 보호 요구에 부합합니다.
• Intel Mac/Windows/Linux는 지원 범위 밖이며, 다국어 작업 시 Q6_K 이상 양자화를 권장합니다.

---

📰 원본 출처 · https://news.hada.io/topic?id=31663 (#N=31663)

이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.