훈련시킬 수 없는 것 — AI SWE가 소프트웨어를 삼키지 못하는 진짜 이유

도입: 2026년 중반, 투자자들 사이의 "AI 정신증"

2026년 6월 현재, 투자자들 사이에서는 일종의 "AI 정신증"적 절망론이 확산 중입니다. 모델이 모든 것을 더 잘하게 되면 그 위에 세워진 회사는 결국 흡수되는 얇은 래퍼(thin wrapper)에 불과하다는 논리가 핵심입니다. Anthropic과 Nvidia에만 돈을 넣고 손을 떼야 한다는 정서, 모델이 모든 것을 더 잘하게 되면 그 위에 세워진 모든 회사는 흡수를 기다리는 얇은 래퍼이며, 살아남는 가치는 compute와 frontier weights뿐이라는 주장이 그 골격입니다.

그러나 이 논리는 절반만 맞습니다. 얇은 래퍼 계층은 실제로 흡수되는 중이지만, 그 메커니즘은 분명해도 최종 도착지는 불분명합니다. 측정 가능한 것은 commodity로 전락하지만, 그 흡수 이후에 남는 자리는 따로 있습니다. 본문은 그 자리가 무엇인지, 그리고 왜 그곳이 2026년 이후 AI 스타트업의 진짜 해자(moat)가 되는지를 정리합니다.

H2 1. 소프트웨어가 보여주는 진짜 교훈

이 논리가 가장 강하게 기대는 사례가 소프트웨어 분야입니다. Devin은 2024년 출시 당시 표준 소프트웨어 벤치마크(SWE-Bench Verified) 과제의 단 13%만 해결해 처음에는 대체로 무시되었습니다. 그러나 1년 반 뒤 최고 에이전트는 80%대 후반에 도달하며 Goldman Sachs와 U.S. Army 내부에서 실제 업무를 수행하기 시작했습니다. 거의 모든 사람이 "모델이 소프트웨어 엔지니어링을 삼켰다"는 잘못된 교훈을 도출했지만, 엔지니어링은 늘 측정에 저항해 왔고 가장 측정 가능한 부분이 유일하게 중요한 부분은 아닙니다.

| 시점 | Devin/최고 에이전트 SWE-Bench 해결률 | 상태 |

|------|--------------------------------------|------|

| 2024년 초 | 13% | 출시 직후, 사실상 무시됨 |

| 2026년 중반 | 80%대 후반 | Goldman Sachs·U.S. Army 내 실제 운영 |

MIT의 Mert Demirer와 공저자들이 10만 명 이상의 개발자를 대상으로 수치화한 결과, 최신 coding agent가 작성된 코드량은 약 180%, 그러나 실제 배포된 양은 약 30% 증가에 그쳤습니다. 코드 작성은 저렴해졌지만, 나머지는 여전히 사람을 거치며, 그 부분이 더 중요합니다.

H2 2. 측정 가능한 것은 곧 훈련 대상이 된다

벤치마크는 측정 가능한 것이고, 측정 가능한 것은 훈련으로 공략 가능합니다. 그래서 coding agent가 가장 먼저 성숙했습니다. compiler와 test suite는 무료 검증기(free verifier)로 작동합니다. 답이 스스로를 점검하므로 통과할 때까지 갈아 넣을 수 있습니다.

그러나 테스트 통과가 그 변경이 10년 묵은 코드베이스에 옳은 선택인지를 알려주지는 못합니다. 모듈이 존재하는 문서화되지 않은 세 가지 이유, 아무도 작성을 인정하지 않는 cron job으로 유지되는 배포 파이프라인 등은 리더보드로 읽을 수 없습니다. 복잡한 시스템의 정확성은 세상에서 충분히 오래 돌려봐야 알 수 있고, 더 똑똑한 모델이 세상을 더 빨리 돌리지는 못합니다. OpenAI 추론 모델을 개척한 Noam Brown은 "유일하게 확실한 방법은 그것을 1년 동안 돌려보는 것일 수 있다"고 언급합니다.

H2 3. 조직의 속도로만 움직이는 것

!figure 1

진정한 자동화는 모델 개선만이 아니라 product·model·workflow·firm이 함께 움직이는 것이며, 이 중 셋은 조직의 속도로 움직입니다. 벤치마크가 닿지 못하는 부분은 사람을 움직이는 일, 회의적인 파트너의 업무 방식을 바꾸거나 재구축 과정에서 팀을 유지하는 일입니다.

Rippling의 Matt MacInnis의 비유처럼, CEO 채용 시 분석 역량만큼 사람을 다루는 능력을 중시하며, 더 똑똑한 모델이 이 가중치를 바꾸지 않습니다. 모든 회사가 엔지니어 전원에게 frontier coding model을 쥐여줬으나, 그 속도로 엔지니어링 조직(eng org)을 바꾼 곳은 하나도 없었습니다. 도입은 한 분기 만에 이뤄졌으나 재구축은 수년이 걸리는 중입니다.

H2 4. 읽을 수 있는 일은 떠나는 중

리더보드에 올릴 수 있는 것은 곧 훈련으로 공략 가능하므로, 측정 가능한 모든 일은 이미 commodity로 향하는 중이며 그 방향은 되돌아가지 않습니다. 일반적 질문에 답하는 token은 누구의 모델도 답할 수 있어 거의 무가치하지만, 회사 데이터를 추론하는 token은 훨씬 가치가 큽니다.

읽을 수 있는 일은 위아래 양방향에서 잠식됩니다. 아래에서는 과제가 포화되어 구매자가 "어느 모델인가" 대신 "비용이 얼마인가"를 묻고, 그중 가장 저렴한 open/distilled model로 떨어집니다. 위에서는 lab이 retrieval·routing·tool use·reasoning policy 등 모델을 감싸던 장치(scaffolding)를 weights 안으로 끌어들이는 absorption frontier가 진행 중입니다.

마진 압박은 반대로도 작용합니다. 범용 에이전트는 무엇이든 대비해야 해 비싸지만, 집중형 애플리케이션은 하나의 workflow를 token 비용 일부만으로 돌도록 튜닝해 그 차익을 직접 가져갑니다.

H2 5. 2x2 매트릭스와 "훈련 불가능한 영역"

모든 일에 두 가지를 물을 수 있습니다. 정확성이 사적이며 확립 비용이 큰가, 그리고 들어갈 수 없는 시스템 안에 갇혀 있는가. 이를 과제 포화도와 교차하면 2x2 구도가 형성됩니다.

| 정확성 / 포화도 | 공개 정답 (commodity zone) | 사적 정답 (untrainable zone) |

|----------------|---------------------------|-------------------------------|

| 포화됨 | commodity token → open model이 차지 | frontier 작업 = untrainable inference cloud |

| Frontier 영역 | lab이 승리 (SWE-Bench처럼 평가가 무료이면 소유는 무의미) | 사적으로만 존재하는 frontier = AI-native 선도가 custom model로 생성 |

마지막 코너로 들어가는 벽의 높이는 다양합니다. 개인 개발자의 toy codebase는 이식 가능하고 표준화되어 진입이 짧습니다. 은행의 프로덕션 시스템은 둘 다 아니며, SWE-Bench Verified에서 2% 더 똑똑해진다고 root 권한을 얻지 못합니다. 병목은 지능이 아니라 권한과 책임입니다.

H2 6. 그 문(door)에는 자물쇠(lock)와 빗장(deadbolt)

!figure 2

더 나은 모델도 사적 정답(private ground truth)을 공개로 만들지 못하며, license를 보유하거나 liability에 서명하거나 회사 파일을 소유하거나 답이 틀렸을 때 소송당하는 당사자가 될 수 없습니다. 그 문에는 두 가지 잠금이 있습니다.

• Lock은 환경입니다. 보안 검토·통합·결과에 이름을 건 계약을 거쳐 신뢰를 얻어야만 AI의 유용성을 시스템 내부에서 검증 가능합니다. Deadbolt는 사용자*입니다. 다수의 미국 의사가 매일 OpenEvidence를 여는 습관은 어떤 compute로도 살 수 없습니다. 완벽한 의료 모델을 내일 훈련해도 의사의 습관이나 UCSF의 의사결정 흐름으로 들어갈 길은 없습니다. 신뢰는 관계와 사용자 동의 위에 느리게 쌓입니다.

H2 7. 사례: 대형 로펌 M&A

M&A를 처리하는 최상위 white-shoe 로펌에서 한 부서는 연간 약 1,000건의 딜을 처리합니다. 수백 명의 어소시에이트가 각자 client file을 데스크톱에 내려받아 범용 에이전트로 훑게 할 수는 없습니다. 기밀 유지 같은 이유도 있지만, 가능하더라도 얻는 것은 한 번의 수정 한 번씩의 파편뿐이며 딜 전체 흐름은 보이지 않습니다.

의미 있는 신호는 딜 단위(level of the deal)에 존재합니다. M&A는 NDA·term sheet·diligence·purchase agreement·ancillaries·closing checklist의 형태가 있고, IP litigation은 motion·discovery·prior art·추가 motion의 형태가 있습니다. 각 practice area마다 고유하며 변호사도 도구도 서로 호환되지 않습니다. 로펌이 실제로 푸는 문제는 그 위 단계, 모든 practice area를 병렬로 운영하는 것입니다.

이런 로펌의 변환은 eval로 쓸 수 있는 단일 과제가 아닙니다. 극도로 모호한 중간 목표와 불완전한 피드백, 매우 긴 기간, 멈춰 있지 않는 환경 속에서 운영자(operator)가 정교하게 운용해야 합니다.

H2 8. 결론: 역사를 가진 가치

2026년 6월 기준으로 보면, 절망론은 절반만 맞습니다. 얇은 래퍼 계층은 실제로 흡수되는 중이며 오늘 회사처럼 보이는 많은 것이 사실 얇은 래퍼입니다. 다만 그것이 무엇을 남기는지에 대해서는 그 메커니즘은 분명하나 최종 도착지는 불분명합니다.

지능은 계속 저렴해지고 가치는 모델이 닿을 수 없는 소수의 자리로 미끄러집니다. 이 자리가 untrainable, 즉 관계·신뢰·축적된 판단처럼 시간을 거쳐 쌓여 훈련으로 복제할 수 없는 "역사를 가진 가치(value with history)"입니다. 그러므로 지능 자체를 소유하려 하지 말고, 정답이 그 분야 내부에만 존재하는 영역 안으로 들어가야 합니다. 회사의 사적 현실을 모델이 다룰 수 있게 정렬하는 화려하지 않은 번역(translation) 작업을 직접 수행하는 것이 핵심입니다.

그 분야에서 무엇이 good인지를 기록해 기준을 정의하는 주체가 되는 것이 핵심이며, 이 자리는 비어 있지 않습니다. 내가 안 하면 누군가가 반드시 차지하기 때문입니다. 올해 가장 많이 인용된 benchmark 점수는 자랑거리가 아니라 경고입니다. 곧 무가치해질 영토의 지도이자, 무엇이 good인지 말할 권리를 곧 잃을 자에 대한 통지입니다. 공개적으로 측정 가능해졌다는 것은 곧 공용재가 되었다는 신호이며, 공개 채점은 누구나 따라잡으므로 그 점수로 1등 한 주체조차 good의 기준을 정의할 권리를 잃습니다.