Train Your Own LLM From Scratch - 처음부터 직접 LLM을 학습하는 실습 워크숍 완벽 가이드

Train Your Own LLM From Scratch - 노트북에서 직접 GPT 모델을 학습하는 실습 워크숍

Train Your Own LLM From Scratch - 처음부터 직접 LLM을 학습하는 실습 워크숍 완벽 가이드

LLM을 "사용"하는 것과 LLM이 "작동하는지 이해"하는 것은 완전히 다른 차원의 경험이다. OpenAI API를 호출해 답변을 받아보는 것은 쉽지만, GPT의 학습 파이프라인을 처음부터 직접 작성하며 각 구성 요소가 무엇을 하고 왜 필요한지 체득하는 경험은 더 깊이 있는 이해를 선사한다. 바로 Train Your Own LLM From Scratch 프로젝트가 제공하는 가치다.

GeekNews에서 가장 주목받은 실습형 LLM 워크숍

Train Your Own LLM From Scratch는 GPT 학습 파이프라인의 모든 조각을 직접 코딩하며 이해하는 실습형 워크숍이다. Andrej Karpathy의 nanoGPT가 GPT-2 124M 파라미터 재현을 목표로 하지만, 이 프로젝트는 핵심만 남겨 노트북에서 1시간 이내에 학습을 완료할 수 있도록 설계되었다.

워크숍의 핵심 목표

목표는 단순하면서도 명확하다. Shakespeare풍 텍스트를 생성하는 GPT 모델을 노트북에서 처음부터 학습시키는 것. 워크숍 한 세션 안에서 끝낼 수 있도록 약 10M 파라미터의 간결한 모델로 설계되어 있다.

직접 작성하게 되는 네 가지 핵심 구성 요소는 다음과 같다:

1. Tokenizer - 텍스트를 토큰으로 분리하는 장치

2. Transformer 기반 모델 아키텍처 - GPT의 핵심 신경망 구조

3. 학습 루프 - 모델이 텍스트를 학습하는 과정

4. 텍스트 생성 - 학습된 모델로 새로운 텍스트를 만들어내는 과정

최종적으로 model.py, train.py, generate.py 세 개의 파일을 직접 완성하게 된다.

사전 지식은 전혀 필요 없다

이 워크숍의 가장 매력적인 점은 진입 장벽이 낮다는 것이다. Python 코드 읽기에 익숙한 정도만 있으면 되며, 머신러닝이나 딥러닝에 대한 사전 경험은 필요하지 않다. Python 3.12+만 설치되어 있으면 된다.

기술적 깊이: 문자 단위 토큰화의 힘

워크숍에서 사용하는 문자 단위 토큰화(Character-level Tokenization)는 이 프로젝트의 핵심 설계 결정이다. GPT-2가 50,257개의 토큰으로 구성된 BPE(Byte Pair Encoding) 어휘를 사용하는 반면, 이 워크숍에서는 고작 65개의 토큰으로 Shakespeare 텍스트를 처리한다.

왜 문자 단위인가

BPE 토큰화가강대적 어휘를 제공하지만, 소규모 데이터셋에서는 치명적인 문제가 있다. 50,257개의 토큰이 있으면 대부분의 토큰 bigram이 너무 드물어 패턴 학습이 어렵다. 반면 문자 단위 토큰화는 제한된 어휘로도 Shakespeare 같은 약 1MB 소규모 데이터셋에서 효과적으로 패턴을 학습할 수 있다.

모델 아키텍처의 핵심 요소

기본 아키텍처의 동작 방식은 다음과 같다:

1. 입력 텍스트를 문자 단위 토큰 ID로 변환

2. 토큰 임베딩과 위치 임베딩 적용

3. 여러 Transformer 블록 통과

4. 다음 토큰 확률을 위한 logits 출력

워크숍에서 다루는 구체적인 구성 요소는 다음과 같다:

• 문자 단위 토크나이저

• 임베딩 레이어

• 셀프어텐션(Self-Attention) 메커니즘

• LayerNorm

• MLP 블록

• 손실 함수

• AdamW 옵티마이저

• 그래디언트 클리핑

• 학습률 스케줄링

• Temperature와 Top-k 샘플링

모델 크기와 학습 시간

워크숍에서는 세 가지 모델 크기를 제공한다:

설정	파라미터 수	M3 Pro 학습 시간
Tiny	약 0.5M	약 5분
Small	약 4M	약 20분
Medium (기본값)	약 10M	약 45분

모든 설정에서 vocab_size=65(문자 단위 토큰화)와 block_size=256을 사용한다. 이 수치들은 Shakespeare 같은 약 1MB 소규모 데이터셋에 맞춰져 있어, 일반적인 개발 환경에서 쉽게 실험할 수 있다.

실행 환경: 어디서든 동작하는 학습 파이프라인

이 워크숍은 크로스 플랫폼을 목표로 한다:

• Mac: Apple Silicon GPU의 MPS를 자동으로 활용

• Linux/Windows: NVIDIA GPU의 CUDA 또는 CPU 폴백

• Google Colab: 로컬 환경이 없어도 브라우저에서 실행 가능

설치 방법

로컬 설치는 uv 패키지 매니저를 권장한다:

uv syncpython train.py

Google Colab을 선호한다면, 저장소의 파일을 업로드한 후 다음 명령어로 학습을 시작할 수 있다:

!python train.py

다른 LLM 학습 프로젝트와의 비교

이 분야에는 비슷한 목표를 가진 다른 프로젝트들이 존재한다:

• nanoGPT: Andrej Karpathy의 프로젝트로, GPT-2 스케일(124M 파라미터)의 재현에 집중

• SmolGPT:최소적 PyTorch 구현에 집중한 프로젝트

• GuppyLM: 언어 모델의 작동 원리를 직접 체험할 수 있는 대화형 프로젝트

• MicroGPT: Karpathy의 microgpt를 기반으로 한 대화형 설명 프로젝트

이들과 비교할 때, Train Your Own LLM From Scratch의 차별점은 "완전한 파이프라인을 직접 작성한다"는 데 있다. 라이브러리의 도구를 사용하는 것이 아니라, 각 구성 요소가 어떻게 작동하는지를 코드 수준에서 이해하게 된다.

실용적인 적용: 바로 시작하는 방법

1단계: 환경 준비

Python 3.12+가 설치되어 있는지 확인하고, uv가 없다면 설치한다:

# uv 설치 (macOS)brew install uv# 또는 pip로 설치pip install uv

2단계: 프로젝트 클론

git clone https://github.com/angelos-p/llm-from-scratchcd llm-from-scratchuv sync

3단계: 학습 실행

# 기본 설정 (Medium, 약 10M 파라미터)python train.py# 작은 모델로 빠른 실험# train.py에서 config를 'tiny'로 변경

4단계: 텍스트 생성

python generate.py

향후 발전 방향

이 워크숍을 완료한 후에는 여러 방향으로 확장할 수 있다:

1. 데이터셋 교체: Shakespeare 대신 다른 텍스트로 학습

2. BPE 토큰화 도입: 더 큰 데이터셋에서 성능 향상

3. 모델 스케일업: 더 큰 파라미터 수로 도전

4. fine-tuning: 사전 학습된 모델의 fine-tuning 실험

핵심 정리

Train Your Own LLM From Scratch는 LLM의 내부를 이해하고 싶은 개발자에게 최적화된 실습형 워크숍이다. 10M 파라미터 모델이라는 절충안을 통해 복잡성을 관리하면서도, GPT 학습의 본질적인 모든 요소를 경험할 수 있다.

문자 단위 토큰화를 통한 Transformer 아키텍처의 핵심 구성 요소를 직접 코딩하고, AdamW 옵티마이저와 그래디언트 클리핑 등의 학습 기법을 적용하며, 최종적으로 Shakespeare풍 텍스트를 생성하는 모델을 완성하는 이 경험은, 단순히 "LLM을 쓴다"는 차원을 넘어 "LLM을 이해한다"는 차원으로 나아가게 해준다.

LLM을 깊이 이해하고 싶다면, 이 워크숍만큼 효과적인 출발점은 없다.

---

📚 출처

• 원본: https://news.hada.io/topic?id=29218

• 프로젝트 저장소: https://github.com/angelos-p/llm-from-scratch

• 관련 프로젝트: https://github.com/karpathy/nanoGPT

---

📚 출처

• https://news.hada.io/topic?id=29218