KOLongDoc: 한국 공공기관 문서를 위한 VLM 벤치마크 공개

KOLongDoc: 한국 공공문서 VLM 벤치마크

KOLongDoc: 한국 공공기관 문서를 위한 VLM 벤치마크 공개

최근 ChatGPT, Claude, Gemini 같은 멀티모달 AI가 공공·행정 업무에도 활용되기 시작했습니다. 하지만 정작 "긴 한국어 문서를 얼마나 잘 이해하는가"를 평가할 수 있는 벤치마크는 거의 없었습니다. 기존 한국어 VLM 벤치마크들은 OCR, VQA, 차트 이해, 이미지 이해 등에 초점을 맞추고 있었지만, 수십 페이지에 달하는 고해상도 문서, 여러 페이지를 오가며 정보를 연결하는 Multi-hop 추론, Long-context 문서 이해를 종합적으로 평가하기에는 한계가 있었습니다.

이러한 공백을 메우기 위해 Marker-Inc-Korea 팀이 KOLongDoc(Korean Long-Document VLM Benchmark)를 오픈소스로 공개했습니다. 본 글에서는 KOLongDoc가 무엇이고, 왜 필요한지, 어떻게 활용할 수 있는지 정리합니다.

KOLongDoc 개요

KOLongDoc는 한국 공공기관 문서를 기반으로 VLM(비전-언어 모델)의 문서 이해 능력을 평가하기 위한 벤치마크입니다. 단순 OCR 정확도가 아니라 실제 행정·공공 업무에서 필요한 종합적인 이해력을 측정하는 데 초점을 둡니다.

주요 특징은 다음과 같습니다.

• 한국 공공기관 문서 기반: 행정안전부, 정부24, 지방자치단체 등에서 발표한 공공문서로 구성되어 있습니다. 번역 데이터가 아니라 실제 한국 행정 환경에서 마주치는 문서 형태입니다.

• Multi-page / Multi-hop QA: 여러 페이지를 오가며 정보를 연결해야 답할 수 있는 질문이 포함되어 있습니다.

• 고해상도 Long Document 이해 평가: 10~30페이지에 달하는 긴 문서를 입력으로 받아 핵심 정보를 추출하는 능력을 평가합니다.

• 총 200개 평가 문항 제공: 다양한 난이도와 유형의 질문으로 구성되어 있습니다.

왜 KOLongDoc가 필요한가

기존 한국어 VLM 벤치마크(예: KO-VQA, KO-VDC, KO-OCRAG)는 개별 이미지나 짧은 문서에 대한 이해를 측정했습니다. 하지만 실제 공공 업무에서는 다음과 같은 상황이 빈번합니다.

• "이 고시 제15조 제3항과 시행령 제7조의 관계를 설명하라"

• "30페이지 보고서의 12페이지 표 3에서 2024년 결산액을 찾아라"

• "여러 첨부 공통으로 언급되는 예산 항목을 요약하라"

이런 작업은 단순 OCR로는 불가능합니다. VLM이 긴 문서 전체의 맥락을 파악하고, 여러 위치를 교차 참조하며, 표·텍스트·이미지를 통합적으로 이해해야 합니다. KOLongDoc는 바로 이 지점을 평가합니다.

특히 Multi-hop 추론은 LLM/VLM 평가 분야에서 가장 까다로운 영역 중 하나입니다. 단순히 텍스트를 읽는 것이 아니라, 여러 정보 조각을 연결해 논리적 결론을 도출해야 하기 때문입니다.

KOLongDoc 활용 방법

KOLongDoc는 Hugging Face와 GitHub에서 공개되어 있어 누구나 자유롭게 사용할 수 있습니다.

데이터셋 받기

pip install datasets

from datasets import load_datasetdataset = load_dataset("Markr-AI/KOLongDoc")print(dataset)print(dataset["test"][0])

GitHub 저장소

저장소에는 벤치마크 평가 스크립트와 리더보드 제출 가이드가 포함되어 있습니다. 자신이 개발하거나 파인튜닝한 VLM을 KOLongDoc로 평가해 볼 수 있습니다.

git clone https://github.com/Marker-Inc-Korea/KOLongDoccd KOLongDocpip install -r requirements.txtpython evaluate.py --model your-vlm --benchmark kolongdoc

VLM 개발자에게 의미

KOLongDoc의 공개는 한국어 VLM 개발자에게 중요한 이정표입니다. 그동안 한국 공공문서 환경에서 모델 성능을 객관적으로 비교하기 어려웠는데, 이제 공인된 벤치마크가 생겼습니다. 파인튜닝·프롬프트 엔지니어링·RAG 파이프라인 최적화 등 다양한 개선 작업을 할 때 KOLongDoc 점수를 기준으로 삼을 수 있습니다.

또한 행정·공공 분야에 AI를 도입하려는 기업 입장에서도 KOLongDoc 점수는 모델 선정의 객관적 근거가 됩니다. 단순 마케팅 자료가 아니라 실제 한국 공공문서 기반 평가이기 때문에 도입 검토 시 신뢰할 수 있는 지표입니다.

전망

한국어 VLM 시장은 HyperCLOVA X Vision, Naver Clova, NAVER LLM 등 네이버 계열 모델과 글로벌 모델들이 경쟁하는 구도입니다. KOLongDoc와 같은 한국 특화 벤치마크가 늘어나면서, 한국어·한국 행정 환경에 최적화된 VLM 개발이 가속화될 것으로 기대됩니다. 특히 Multi-hop 추론과 Long-context 이해는 차세대 VLM 연구의 핵심 과제로 부상하고 있어, KOLongDoc가 이 분야의 표준 평가 도구로 자리 잡을 가능성이 높습니다.

요약

KOLongDoc는 한국 공공기관 문서에 대한 VLM의 종합적 이해 능력을 평가하는 벤치마크입니다. Multi-page, Multi-hop, Long-context라는 세 가지 축을 통해 기존 한국어 VLM 벤치마크의 한계를 보완합니다. Hugging Face와 GitHub에서 오픈소스로 공개되어 있어 누구나 활용할 수 있으며, 한국어 VLM 개발자와 공공 분야 AI 도입을 검토하는 기업 모두에게 유용한 도구가 될 것입니다.

---

📚 출처

• KOLongDoc 소개 (GeekNews)

• GitHub 저장소

• Hugging Face 데이터셋

---

📚 출처

• https://news.hada.io/topic?id=30171