DRIFT — LLM 하나를 Mac과 CUDA로 나눠 돌리는 오픈소스 분산 추론

DRIFT: LLM 하나를 여러 기기로 나눠 돌리는 새로운 오픈소스

요즘 LLM 접근성이 빠르게 변하고 있습니다. 최상위 모델은 비용이 빠르게 오르고, 로컬 GPU는 한 번에 큰 모델을 통째로 올리기엔 부족합니다. DRIFT는 이런 갈림길에서 한 LLM을 여러 개인 기기에 레이어 단위로 나눠 실행하는 오픈소스 프로젝트로, "한 사람이 LLM을 다시 가까이서 다룰 수 있다"는 전제로 출발합니다.

왜 이런 접근이 필요한가

Fable5 같은 최상위 모델은 개인이 자체 호스팅하기엔 비쌉니다. 반면 4090 한 장으로 70B 모델을 통째로 올리는 것도 사실상 어렵습니다. DRIFT는 이 양쪽 모두의 벽을 우회하기 위해, 하나의 LLM을 여러 장치에 걸쳐 레이어 단위로 분할합니다. Mac과 CUDA 머신을 섞어 쓰는 구성을 공식 예시로 제시하고 있어, 개인 개발자도 손쉽게 분산 추론을 시작할 수 있습니다.

핵심 아이디어: 레이어 단위 분할

DRIFT의 핵심은 layer-wise splitting입니다. Transformer 블록 단위로 모델을 쪼개어 앞쪽 레이어는 Mac에서, 중간은 다른 머신에서, 마지막은 CUDA GPU에서 실행하는 식입니다. 이를 통해:

• 메모리 부담 분산 — 단일 머신이 다 못 담던 가중치를 여러 기기로 분산
• heterogeneous 환경 지원 — Apple Silicon과 NVIDIA GPU를 동시에 사용 가능
• 개인용으로 충분한 처리량 — 연구/실험/데모용 추론 워크로드에 적절

어떻게 시작하나

DRIFT는 오픈소스로 공개되어 있어 레포지토리를 클론한 뒤 설정 파일에서 레이어 분할 구성을 지정하면 됩니다. Mac과 CUDA 예시 구성이 README에 포함되어 있어, 복잡한 인프라 없이도 분산 추론을 시험해볼 수 있습니다.

이 접근이 흥미로운 이유

완전 중앙집중형 API도, 단일 워크스테이션 로컬 구동도 아닌 "여러 개인 기기로 분산"이라는第三条 길을 제시한다는 점이 흥미롭습니다. 모델 자체는 그대로 둔 채, 실행 토폴로지만 바꿈으로써 비용·장비·운영의 제약을 우회합니다. AI가 점점 더 큰 자본이 되어가는 시대에, 이런 오픈소스 분산 추론 프로젝트가 어떤 방향으로 진화할지 주목할 만합니다.

한 줄 요약

• DRIFT = "최상위 모델은 비싸고, 로컬 GPU는 부족하다"는 현실에 답하는, 개인용 heterogeneous 분산 추론 오픈소스.*

참고 링크

• 원문: https://news.hada.io/topic?id=31177