유휴 Inference GPU Pool을 이용한 GPU Job 스케줄링 완벽 가이드

유휴 GPU Pool을 활용한 GPU Job 스케줄링 개요

유휴 Inference GPU Pool을 이용한 GPU Job 스케줄링 완벽 가이드

도입: GPU 병목현상과 새로운 해결책

AI 서비스 운영에서 가장 큰 고민 중 하나는 GPU 자원입니다. 대규모 언어 모델(LLM) 서비를 제공하려면 트래픽 최고치에 맞춰 GPU를 미리 확보해야 하는데, 이 때문에 평소에는 비싼 GPU가 메모리만 점유한 채로 놀는 시간이 길어집니다.

LG AI연구원은 이 문제를 새로운 관점으로 접근했습니다. 추가 장비 구매 없이도 유휴 GPU 자원을 학습과 평가 작업에 자동 배정하는 파이프라인을 구축한 것입니다. 2025년 11월부터 2026년 1월까지 약 3개월간 85개 작업을 실행하고, 약 1억 8천5백만 원 규모의 비용을 절감한 성과가 나왔습니다.

어떻게 이룬 것인지, 핵심 설계부터 운영 결과까지 자세히 살펴보겠습니다.

핵심 문제: LLM 서비스의 오토 스케일링 한계

일반 웹 서비스는 CPU 사용률이나 메모리 점유율만으로도 부하를 어느 정도 예측할 수 있습니다. 하지만 LLM 서비스는 다릅니다. 입력 토큰과 출력 토큰의 길이가 요청마다 들쭉날쭉하고, 모델 구조에 따라 GPU 소모량도 크게 달라집니다. 그래서 전통적인 시스템 지표만으로는 실제 부하를 정확히 측정하기 어렵습니다.

LG AI연구원의 환경에서는 레플리카 한 개가 GPU 4장을 사용하는 구조였습니다. 야간 비혼잡 시간대인 저녁 8시부터 다음 날 아침 8시 사이에 하루 평균 52장의 GPU가 약 12시간 동안 아무 작업도 하지 않는 상태였습니다. 이 유휴 자원을 효과적으로 활용할 방법을 찾지 못한 채, 그대로 낭비되고 있었던 것입니다.

해결 방식 1: vLLM 내부 지표 활용

일반 시스템 지표 대신 LLM 추론 엔진인 vLLM이 제공하는 실시간 지표를 활용했습니다. 처리량과 큐 대기 상태 같은 정보는 LLM 서비스의 실제 부하를 더 정밀하게 반영합니다. 이 지표를 오토 스케일링의 기준으로 삼아, LLM 특성에 맞는 자원 조정 시스템을 구현했습니다.

이 방식의 핵심은 서비스의 실제 처리 상황에 맞춰 GPU를 동적으로 배분할 수 있다는 점입니다. 단순히 시스템 수준의 지표를 보는 것이 아니라, 추론 엔진 내부에서 일어나는 일을 기준으로 판단하기 때문에 더 정확한 자원 관리가 가능합니다.

해결 방식 2: Best-effort 작업 실행

야간 유휴 GPU에 연구 작업을 배치하되, 트래픽이 다시 증가하면 언제든 연구 작업을 중단하고 서비스에 GPU를 돌려주는 구조를 설계했습니다. 연구 작업이 서비스를 방해하지 않도록 우선순위를 명확히 분리한 것입니다.

이 접근은 서비스 안정성과 자원 활용도라는 두 가지 목표를 동시에 달성하는 방법입니다. 연구 입장에서는 들이대면 자원이 들어가고, 빠지면 빠질수록 손해가 되는 구조가 아니라, 항상 일정한 우선순위로 실행되면서도 서비스에 영향을 주지 않는 안전한 환경을 만들었습니다.

해결 방식 3: Argo Workflows 기반 파이프라인

작업 관리는 Argo Workflows를 사용합니다. Docker 이미지 단위로 작업을 정의하고, 데이터 전처리부터 사전학습, 지도학습 미세조정, 강화학습, 평가까지 각 단계를 분리해 순차 또는 병렬로 실행할 수 있게 했습니다.

이 파이프라인 설계의 세 가지 원칙은 다음과 같습니다.

첫째, 범용성입니다. 학습이든 추론이든 어떤 프레임워크든 Docker 이미지로 감싸면 그대로 실행 가능합니다. 둘째, 확장성과 유연성입니다. 새로운 작업 유형이 추가되어도 파이프라인 코드를 수정하지 않고 그대로 수용할 수 있습니다. 셋째, 재현성입니다. 모든 설정을 외부 파라미터로 주입하고, 입출력은 클라우드 스토리지에서 관리합니다. 동일 조건이면 동일 결과가 보장되며, 파이프라인이 상태를 보존하지 않는 비저장성 구조라 운영 안정성도 높습니다.

운영 결과: 3개월간 95,000 GPU 시간

실제 운영 성과는 수치로 드러납니다. 2025년 11월부터 2026년 1월까지 3개월간 총 85개 작업이 실행됐고, 누적 GPU 사용량은 95,000 GPU 시간에 달했습니다. 1월 한 달만 보면 GPU 사용량이 11월 대비 약 70% 증가했습니다. 24시간 기준으로 약 55장의 GPU를 새로 확보한 것과 동일한 효과입니다.

비용으로 환산하면 더 명확합니다. 동일 연산량을 퍼블릭 클라우드 3년 약정 기준으로 계산하면, 1월 한 달에 약 7천5백만 원, 3개월 누적 약 1억 8천5백만 원 규모의 절감 효과를 만들었습니다. 새 장비를 구매하거나 클라우드 자원을 늘리지 않고 달성한 성과라는 점이 주목할 만합니다.

향후 계획: 상시 스케줄링으로 확대

현재는 야간 유휴 시간대에만 연구 작업을 실행하는 방식입니다. 앞으로는 Kubernetes와 자체 모델인 EXAONE을 활용해, 야간뿐 아니라 자원이 비는 즉시 작업을 실행하는 상시 실행 체계로 확장할 계획입니다. 서비스별 사용 패턴을 더 세분화해 자원 배정 로직을 정교화하는 것과 함께, 연구자가 작업 요청부터 모니터링까지 직관적으로 수행할 수 있는 인터페이스도 마련할 예정입니다.

핵심 정리

LG AI연구원의 이 사례는 GPU 부족이라는 업계 공통 과제를 하드웨어 증설이 아니라 운영 구조 개선으로 풀어낸 대표적 사례입니다.

핵심은 세 가지입니다. vLLM 내부 지표를 활용하면 LLM 특성에 맞는 정밀한 자원 조정이 가능합니다. 연구 작업을 Best-effort로 실행하면 서비스 안정성을 침해하지 않으면서 자원 활용도를 높일 수 있습니다. Argo Workflows 기반 비저장성 파이프라인은 새로운 작업 유형을 유연하게 수용하면서도 재현성을 보장합니다.

GPU 인프라를 운영하는 팀이라면 충분히 참고할 수 있는 운영 모델이며, 특히 LLM 서비스 운영에서 발생되는 유휴 자원 활용에 관심이 있다면 반드시 살펴볼 가치가 있습니다.

---

📚 출처

• 유휴 Inference GPU Pool을 이용한 GPU Job 스케줄링 - LG AI Research

• 원본 블로그 글 - LG AI Research

---

📚 출처

• https://news.hada.io/topic?id=29904