arXiv 논문 12,750편에서 AI 문체를 측정한 방법과 한계

arXiv에 쏟아지는 최신 논문들이 정말 인간이 쓴 글인지, AI가 쓴 글인지 구분이 어렵다는 말을 한 번쯤은 들어봤을 겁니다. 2026년 7월에 공개된 한 분석은 arXiv 본문 12,750편을 그대로 긁어 그 비율과 한계를 수치로 정리했습니다. 핵심 결론은 두 가지입니다. 첫째, 최신 논문의 약 3분의 1이 기계 작성처럼 읽힌다는 것. 둘째, 그 '기계 작성 같다'는 판정이 어디까지나 통계적 신호에 가깝다는 것.

이번 글에서는 그 연구가 어떤 데이터로, 어떤 지표로, 어떤 임계값을 써서 AI 문체를 측정했는지, 그리고 왜 아직 'AI가 쓴 논문'을 100% 신뢰할 수 없다고 말해야 하는지를 정리합니다.

1. 데이터 셋: arXiv 본문 12,750편을 어떻게 모았나

연구진은 arXiv에서 버전 1 PDF의 본문 전체를 직접 추출했습니다. 메타데이터나 초록이 아니라 본문이라는 점이 중요합니다. 초록은 인간이 마지막에 다듬는 경우가 많아서 통계적 신호가 약해지고, 본문은 가장 거친 문장이 그대로 남아 있어 모델이 남긴 문체적 지문이 더 잘 보입니다.

추출된 12,750편은 분야별로 고르게 분포하도록 샘플링됐고, 분석 시점 기준 최근 4개 분기의 논문과 2021~2022년 논문을 분리했습니다. 2021~2022년은 ChatGPT가 등장하기 전이라 인간 작성 대조군으로 쓰기 적합하고, 이 구간을 기준으로 오탐률 0.4%가 되도록 임계값을 보정했습니다.

버전 1만 본 이유

논문은 v1, v2, v3로 올라가며 다듬어집니다. v2부터는 사람 손이 많이 들어가서 AI 문체가 희석되므로, 최초 제출 시점의 문체를 보기 위해 v1만 사용했습니다. 즉 '논문을 제출한 순간 AI가 얼마나 관여했는가'를 측정하는 셈입니다.

2. 측정 지표: 단순 단어 빈도가 아니라 '리듬'의 변화

단순히 'the가 몇 번 나왔나' 같은 표면 빈도로는 AI 문장을 잡을 수 없습니다. 연구진이 본 핵심 신호는 두 가지입니다.

① Perplexity 기반의 어휘 다양성 붕괴. LLM이 생성한 텍스트는 등장하는 단어 분포가 인간보다 좁고, 학습 데이터의 고빈도 어휘에 모이는 경향이 있습니다. 이걸 수치화하면 같은 단어군이 비정상적으로 반복되는 구간이 나타납니다.

② Burstiness 감소. 인간 글은 문장 길이가 들쭉날쭉하고, 짧은 문장과 긴 문장이 번갈아 나옵니다. LLM은 길이를 평균으로 맞추는 경향이 있어 문장 길이의 표준편차가 작아집니다. 이것만으로도 60%대 정확도가 나옵니다.

이 두 신호를 결합하고, n-gram 엔트로피, 구두점 사용 패턴, 수식/표 인용 직전의 문체 변화 같은 보조 지표를 함께 넣어서 최종 판정 모델을 만들었습니다.

3. 결과: 최근 논문 32%가 '기계 작성 같음'

분석 결과는 단순합니다. 2026년 분기 기준 arXiv 본문 중 약 32%가 'AI가 작성했을 확률이 높음' 판정을 받았습니다. 4개 분기 전인 2024년 동기는 같은 지표로 5% 미만이었으므로, 2년 새 6배 이상 증가한 셈입니다.

특히 cs.CL(자연어처리), cs.LG(머신러닝), stat.ML 세 분야에서 50%를 넘었고, 수학( math.* ) 분야는 12% 수준에 그쳤습니다. 분야마다 AI 활용도가 다른데, 자연어 분야일수록 코드 생성, 주석 작성, 실험 로그 작성 등 본문 대부분을 LLM이 먼저 쓰고 사람이 다듬는 패턴이 흔합니다.

4. 부트스트랩 신뢰구간과 '정확도 32%'의 의미

논문에서 강조한 수치가 하나 더 있습니다. 완결 분기 판정률 약 32%입니다. 이것은 'AI가 100% 작성했다'가 아니라 '지표가 임계값을 넘었다'는 의미이고, 부트스트랩 95% 신뢰구간은 ±3.7%p입니다. 즉 같은 지표로 같은 분기를 다시 측정해도 28.3%에서 35.7% 사이가 정상 범위라는 뜻입니다.

여기서 중요한 것은, 이 신호가 '의도'를 측정하지 않는다는 점입니다. AI가 초안을 쓰고 인간이 전면 개고한 글도, 인간이 쓰다 AI로 문장만 다듬은 글도 같은 판정을 받을 수 있습니다. 측정 가능한 것은 오직 '문체가 통계적으로 어디에 가까운가'뿐입니다.

5. 이 연구의 한계 — 무엇을 보지 않는가

이 분석이 보지 못하는 것들을 명확히 짚어둘 가치가 있습니다.

  • 개인의 작성 의도: 누가 어디까지 AI를 썼는지 1편 단위로 말할 수 없습니다. 12,750편 평균 신호일 뿐입니다.

  • 도메인 특수 문체: 수학 논문, 법학 논문, 임상 의학 논문은 어휘 자체가 좁아 오탐이 큽니다. 동일 임계값을 모든 분야에 적용하면 수학 분야에서 인간 작성 글을 AI로 오인하는 비율이 올라갑니다.

  • 모델 발전 속도: LLM이 인간 같은 burstiness를 학습하면 지표가 약해집니다. 2025년 1분기에 잡혔던 신호가 2026년 1분기에는 절반만 잡히는 식으로 지표의 수명이 짧습니다.

  • 재현성: PDF 파서 버전, 토크나이저 선택, 임계값 보정 데이터에 따라 같은 본문도 다른 판정을 받을 수 있습니다. 논문 저자들도 '같은 코드로 6개월 뒤에 다시 돌리면 ±5%p 정도는 바뀐다'고 명시했습니다.

즉 이 지표는 경향은 보이지만 1편을 단정하지 못한다는 결론입니다.

6. 그래서 arXiv 운영진은 무엇을 할까

논문은 정책 권고까지 포함합니다. 핵심 권고는 세 가지입니다.

  1. AI 활용 내역을 저자 노트에 의무 공개하도록 권고. LLM 저작 도구 사용 범위를 명시하는 항목.

  2. 버전 1과 v2+를 별도 보관해서 '초안 시점의 문체'를 사후에 감사할 수 있게 함.

  3. 학회 차원에서 문체 기반 자동 검출을 1차 스크리닝으로 쓰고, 의심 사례는 편집인이 다시 보는 이중 구조.

이 세 가지를 모두 도입한다고 해도 가짜 학술 글 문제를 0으로 만들 수는 없습니다. 다만 '대부분의 경우 인간이 마지막 확인을 한다'는 가정에 기대던 상태에서, '문체 신호로 1차 필터를 만들고 인간이 다시 본다'는 운영 모델로 옮겨가는 셈입니다.

7. 연구자 입장에서의 실용 가이드

이 지표 체계를 자기 논문에 적용한다면 다음 순서로 보는 것이 효율적입니다.

(a) 본문 단락 길이 분포: 짧은 문장과 긴 문장이 번갈아 나오는지 확인. 한 단락 안에서 평균 길이가 비슷한 문장이 반복된다면 LLM 생성 후 미세 조정한 흔적일 가능성이 있습니다.

(b) 어휘 다양성: 같은 단어가 짧은 구간에 몰려 있는지, 명사/동사 비율이 한쪽으로 쏠려 있는지 확인합니다.

(c) 수식·표 인용 직후 문체: 본문에서 수식이나 표 직후 문장이 갑자기 어투가 바뀌면, 그 구간만 LLM이 채웠을 가능성이 있습니다.

이 세 가지를 사람이 한 번 훑는 것만으로도 arXiv 본문 통계가 보여주는 경향과 비슷한 결과를 자기 글에 적용해 볼 수 있습니다.

8. 전망 — 측정 가능한 신호는 계속 바뀐다

LLM이 인간의 burstiness를 흉내 내기 시작했고, 다음 세대 모델은 더 정교한 문체 변조를 학습할 가능성이 큽니다. 즉 이번 논문의 지표 수명은 길지 않을 것입니다. 연구진도 '측정 가능한 신호는 항상 한 세대 뒤처진다'고 결론에 적었습니다.

그래서 단일 지표에 의존하기보다, 여러 신호를 결합하고 임계값을 주기적으로 재보정하는 운영 방식이 중요해집니다. 통계 모델이 바뀌어도 같은 운영 파이프라인 안에서 임계값과 가중치만 갱신하는 형태가 향후 1~2년의 표준이 될 가능성이 높습니다.

요약

  • arXiv 본문 12,750편을 분석해 최근 논문 약 32%가 기계 작성 신호가 있다고 추정함.

  • 핵심 지표는 perplexity 기반 어휘 다양성과 burstiness(문장 길이 표준편차).

  • 2021~2022년 대조군으로 오탐률 0.4% 임계값 설정, 95% 신뢰구간 ±3.7%p.

  • 분야별 편차 큼: 자연어 분야 50%+, 수학 분야 12%.

  • 이 신호는 '작성 의도'가 아니라 '문체 분포'만 본다는 한계가 분명함.

  • arXiv는 저자 노트 공개, 버전별 보관, 이중 검수를 권고함.

참고 원문: 긱뉴스 — arXiv 논문 12,750편에서 AI 문체를 측정한 방법과 한계