sogen - 고성능 Windows & Linux 유저스페이스 에뮬레이터 — DRM 분석과 멀웨어 분석의 새로운 무기

2026년 6월 현재, 보안 연구와 멀웨어 분석의 판이 빠르게 재편되고 있습니다. 그 중심에 sogen이 있습니다. 시스템콜(syscall) 수준에서 동작하는 고성능 Windows/Linux 유저스페이스 에뮬레이터로, 프로세스 실행 전반을 후킹으로 제어할 수 있어 DRM 리버스엔지니어링과 퍼징(fuzzing) 같은 까다로운 작업을 한 단계 끌어올려 줍니다. GitHub momo5502/sogen 저장소에서 C++로 작성된 본체와 pip install sogen 한 줄로 끝나는 파이썬 바인딩을 모두 받을 수 있습니다.

유저스페이스 에뮬레이션이 왜 필요한가

기존 에뮬레이터는 코드를 가상 CPU에서 돌리고 하드웨어를 흉내내는 데 집중했습니다. 하지만 보안 연구자가 진짜로 제어하고 싶은 영역은 그 위의 OS와 커널 계층입니다. 유저스페이스 에뮬레이션은 OS·커널까지 시뮬레이션하면서 실행되는 코드의 모든 단계에 개입할 수 있게 해 줍니다.

후킹 포인트는 크게 네 가지로 나뉩니다.

• 메모리 접근 후킹 — read/write/execute 단위로 가로채기
• 명령어 실행 후킹 — syscall, cpuid, rdtsc 같은 특정 명령어 시점 포착
• 새 코드 경로(new code path) 후킹 — 처음 실행되는 경로 감지
• API 호출 후킹 — WinAPI 콜 인터셉트

이런 제어 능력 덕분에 DRM 분석, 멀웨어 동적 분석, 퍼징 기반 취약점 탐지가 가능해지고, 특히 안티 디버깅·난독화·안티 탬퍼링으로 무장한 현대 DRM을 정적·동적 분석 없이 다루는 길이 열립니다.

기존 솔루션의 한계와 sogen의 차별점

sogen 발표자는 Steam CEG, Arxan, Denuvo 같은 주요 DRM을 직접 리버스하고 우회해 온 경력의 보안 연구자입니다. 그가 기존 도구를 사용하면서 느꼈던 한계를 정리하면 다음과 같습니다.

| 도구 | 구현 방식 | 알려진 한계 |

|------|-----------|-------------|

| Qiling / Speakeasy / Dumpulator | Python 기반 | 후킹이 많은 DRM 분석에서 극도로 느림 |

| Binee / Unicorn PE | API 레벨 재구현 | 불완전하고 버그 발생 가능, 재구현 유지보수 부담 |

| sogen | syscall 레벨 에뮬레이션 + 실제 시스템 DLL 재사용 | Windows API를 새로 짤 필요 없음, JIT 덕분에 고속 |

특히 Windows API를 재구현하지 않고 syscall 레벨에서 동작해 ntdll.dll, kernel32, user32 같은 실제 시스템 DLL을 그대로 활용한다는 점이 핵심 차별점입니다. 동작이 실제 OS와 거의 일치하면서도, 에뮬레이터 내부에서 모든 실행 단계에 개입할 수 있습니다.

syscall 규모만 봐도 재구현이 얼마나 비효율적인지 알 수 있습니다.

• ntdll.dll 일반 syscall: 약 409개
• win32u.dll UI syscall: 약 1,474개
• 합계: 약 1,883개

이걸 API 레벨에서 모두 다시 구현하는 기존 도구와 달리, sogen은 이 syscall들을 직접 후킹해서 처리합니다.

핵심 기능 한눈에

공식 README 기준으로 정리한 sogen의 핵심 기능은 다음과 같습니다.

• 실제 시스템 DLL 실행: ntdll, kernel32, user32를 재구현이 아니라 그대로 실행
• 메모리·명령어·syscall·API 후킹과 재작성: 모든 단계를 가로채고 변형 가능
• 충실한 Windows 내부 구현: PE 로딩(relocations, TLS), Windows 메모리 타입, SEH, 쓰레딩, 레지스트리, 파일시스템, 네트워킹
• 스냅샷과 복원: 전체 상태 직렬화, 빠른 인메모리 스냅샷, 미니덤프 로딩
• 멀티플랫폼: Windows/Linux/macOS/Android/iOS/브라우저에서 x86-64와 arm64 모두 지원
• 결정론적 실행: 명령어 단위까지 재현 가능한 실행
• 디버깅 인터페이스: GDB 시리얼 프로토콜로 IDA Pro, GDB, LLDB, VS Code 연동
• 언디텍터블 디버깅: 에뮬레이터 레벨에서 동작하므로 프로세스 밖에서 디버깅 — 안티 디버그 체크 우회
• GPU 패러버추얼라이제이션: 실제 GPU로 3D 가속, Hyper-V 백엔드로 CPU에서 네이티브 실행

특히 마지막 두 항목은 게임 DRM 분석에서 큰 무기입니다. Denuvo 같은 DRM은 안티 디버깅을 통과해야 분석이 가능한데, sogen은 프로세스 밖에서 디버거가 동작하므로 안티 디버그 체크를 우회하면서도 GDB 프로토콜로 IDA Pro 같은 익숙한 도구를 그대로 쓸 수 있습니다.

빠른 시작 — 파이썬 바인딩

가장 빠르게 시작하는 길은 파이썬 바인딩입니다. pip install sogen 한 줄이면 끝납니다.

import sogen

emu = sogen.windows.create_application(
    "c:/test-sample.exe",
    emulation_root="./root",
)

def on_module_load(module):
    if module.name.lower() == "test-sample.exe":
        emu.hooks.memory_execution_at(
            module.entry_point,
            lambda address: print(f"hit entry point: 0x{address:x}")
        )

emu.callbacks.on_module_load = on_module_load
emu.start()
print(emu.process.exit_status)

에뮬레이터 실행, 콜백 등록, WinAPI 콜 인터셉트까지 파이썬 안에서 바로 처리할 수 있습니다. 파이썬 바인딩은 emulation root라는 사전 준비 디렉토리가 필요한데, sogen.dev에서 바로 다운로드할 수 있고, 직접 만들고 싶다면 위키의 가이드를 따라 만들면 됩니다.

C++ 빌드 — Windows + Visual Studio

네이티브 빌드는 Windows, Linux, macOS 모두 지원하지만 Windows + Visual Studio 흐름이 가장 깔끔합니다.

git clone --recurse-submodules https://github.com/momo5502/sogen.git
cd sogen
cmake --preset=vs2022
# build/vs2022/emulator.sln 을 Visual Studio에서 빌드
# grab-registry.bat 을 관리자 권한으로 실행해 레지스트리 덤프 생성
analyzer.exe C:\example.exe

Linux/macOS 빌드 명령과 ARM 빌드 옵션은 위키에 정리되어 있어, 크로스 플랫폼 프로젝트에 그대로 이식할 수 있습니다.

백엔드 선택 — Unicorn / icicle-emu / Hyper-V

sogen은 C++ 코어와 CPU 백엔드가 분리되어 있어, 사용 시나리오에 따라 세 가지 백엔드 중 선택할 수 있습니다.

| 백엔드 | 특징 | 추천 시나리오 |

|--------|------|---------------|

| Unicorn Engine | 안정적인 에뮬레이션, 광범위한 검증 | 범용 분석, 멀웨어 샌드박스 |

| icicle-emu | 빠른 개발 사이클, 모던 아키텍처 | 신규 기능 실험, 커스텀 후킹 |

| Hyper-V (WHP) | Windows Hypervisor Platform 기반 네이티브 실행 | 게임 실행, GUI 앱, 고성능 퍼징 |

게임이나 GUI 앱을 실제 GPU 가속으로 돌리면서 분석하고 싶다면 Hyper-V 백엔드가 정답이고, 일반적인 멀웨어 분석이나 DRM 리서치에는 Unicorn이 무난합니다.

실전 활용 — 멀웨어 분석과 퍼징

발표자가 강조한 실전 활용 시나리오는 크게 두 가지입니다.

• 멀웨어 동적 분석: 호스트에서 직접 멀웨어를 실행하면 호스트가 오염될 위험이 있습니다. sogen은 호스트 격리가 완벽하지 않을 수 있어, 공식적으로는 브라우저 샌드박스 기반 웹 버전 사용*을 권장합니다. 웹 브라우저 안에서 에뮬레이터가 동작하므로 멀웨어가 호스트로 빠져나올 수 없고, 후킹으로 외부 통신도 가로채기 때문에 C2 서버 트래픽도 안전하게 관찰할 수 있습니다.

• 취약점 분석(퍼징)*: 에뮬레이터 내부에서 입력을 무작위화하고, 후킹으로 코드 커버리지를 피드백 받으며, 실행이 결정론적이라 재현도 보장됩니다. 기존 퍼저가 OS와 충돌하거나 결정성을 잃는 문제를 우회하면서도 빠른 속도를 유지할 수 있어, DRM 보호가 걸린 바이너리에도 그대로 적용할 수 있습니다.

어떤 사람에게 필요한가

sogen이 특히 잘 맞는 대상을 정리하면 다음과 같습니다.

• 보안 연구자 / 리버스 엔지니어: 안티 디버깅을 통과하면서도 익숙한 IDA/GDB 워크플로우 유지
• 멀웨어 분석가: 호스트 격리가 가능한 웹 샌드박스로 안전한 동적 분석
• DRM 연구자: Denuvo 같은 현대 DRM 분석에 필요한 후킹과 결정론적 실행 모두 제공
• 퍼저 개발자: 코드 커버리지 피드백 + 결정론적 실행 + 빠른 속도의 삼박자
• 게임 모딩 / 호환성 연구자: GPU 패러버추얼라이제이션으로 실제 게임 실행 환경 분석

반대로 일반적인 크로스 플랫폼 GUI 앱 개발이나 임베디드 시뮬레이션에는 QEMU 같은 전통적인 시스템 에뮬레이터가 더 적합하고, API 호출 단위 분석만 필요하다면 기존 API 후킹 도구로도 충분합니다.

핵심 요약

sogen은 Windows API를 재구현하지 않고 syscall 레벨에서 에뮬레이션하면서 실제 시스템 DLL을 그대로 활용하는 새로운 접근의 유저스페이스 에뮬레이터입니다. C++ 코어 + Unicorn/icicle-emu/Hyper-V 백엔드 선택, 파이썬 바인딩, GDB 디버깅, 결정론적 실행, 브라우저 샌드박스까지 보안 연구에 필요한 기능이 한 번에 묶여 있습니다.

DRM 리버스엔지니어링이나 멀웨어 분석 같은 까다로운 작업을 하고 있다면, 기존 Qiling/Speakeasy의 속도 문제나 Binee/Unicorn PE의 재구현 부담을 겪지 않고도 한 단계 더 깊은 분석이 가능해집니다. 2026년 6월 기준으로 가장 실무적인 선택지 중 하나입니다.