Mesh LLM, 흩어진 GPU를 한 대의 머신처럼 — iroh 기반 분산 AI 컴퓨팅

Mesh LLM, 흩어진 GPU를 한 대의 머신처럼 — iroh 기반 분산 AI 컴퓨팅

로컬에 장착된 단일 GPU로는 70B 모델을 못 돌린다. 클라우드 GPU는 비싸고, 데이터는 외부로 못 보낸다. 이 둘 사이의 간극을 메우려는 시도가 늘 있어왔지만, 대부분은 "어느 한쪽을 포기하라"는 답만 줬다. Mesh LLM은 양쪽 다 포기하지 않는 쪽을 택했다 — iroh라는 P2P 네트워크 위에 OpenAI 호환 API 한 겹을 얹은 것이다.

핵심 아이디어: 한 머신이 안 되면 여러 머신에 나눠 돌린다

Mesh LLM은 GPU·메모리가 여러 물리 머신에 흩어져 있는 환경을 하나의 컴퓨팅 풀로 추상화한다. 요청이 들어오면 가장 가까운 피어의 GPU로 먼저 보내고, 한 머신에 들어가지 않는 모델은 파이프라인 단계별로 여러 노드에 나눠 실행한다. 외부에서 보는 인터페이스는 단 하나 — OpenAI 호환 /v1/chat/completions.

분산 실행의 3가지 모드

| 모드 | 언제 쓰나 | 처리 위치 |

|---|---|---|

| 로컬 실행 | 데이터가 외부 반출 불가, 작은 모델 | 본인 PC GPU |

| 피어 전달 | 본인 PC GPU 부족, 같은 LAN/내망 | 가장 가까운 피어 |

| 분할 실행 | 235B MoE처럼 단일 머신 초과 | 여러 노드에 파이프라인 분할 |

특이한 점은 모델 카탈로그다. 노트북용 5억 파라미터부터 235B MoE까지 40개 이상이 플러그인 카탈로그 형태로 등록되어 있다. 카탈로그에 없는 모델은 사용자가 직접 플러그인으로 추가 가능.

기존 분산 추론과 뭐가 다른가

기존 분산 추론(vLLM 텐서 병렬, llama.cpp RPC 등)은 보통 같은 데이터센터 내부의 고속 네트워크를 전제한다. Mesh LLM의 차별점은 iroh 기반 NAT traversal로 인터넷 너머 피어까지 묶을 수 있다는 점. 회사 책상 GPU, 집 PC, AWS 스팟 인스턴스 — 이 모든 자원을 하나의 풀로 다루겠다는 의지다.

다만 트레이드오프는 있다. 노드 간 latency가 같은 데이터센터의 NVLink와는 차원이 다르므로, 프롬프트 처리 속도보다 총 처리 시간이 더 중요한 워크로드(코딩 에이전트의 background 작업, 배치 추론, 야간 파인튜닝 등)에 어울린다.

데스크탑 AI 인프라의 의미

지금까지 "데스크탑 AI"는 "데스크탑 + 클라우드 API"를 뜻했다. Mesh LLM이 추구하는 방향은 "데스크탑들" 이라는 복수형 — 개인이 가진 GPU 자원을 라이브러리처럼 서로 빌려쓰는 구조다. GPU가 모자란 개인 개발자, 사내 GPU는 남는 폐쇄망 회사, 자본은 부족하지만 GPU가 남는 대학 — 각자 다른 부족한 자원을 공통의 프로토콜로 풀링할 수 있다면, AI 인프라의 지형이 꽤 달라질 수 있다.

---

📰 원본 출처 · https://news.hada.io/topic?id=31351 (#N=31351)

이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.