다음 토큰 예측은 우리에게 어떤 의미를 갖는 것일까?

다음 토큰 예측은 우리에게 어떤 의미를 갖는 것일까?

"다음 토큰 예측" — 거대 언어 모델(LLM)의 핵심공은 놀랍도록 단순합니다. 문장을 읽고, 다음에 올 토큰을 확률적으로 예측하는 것입니다. 그런데 이 단순한 메커니즘이 인간 사회 전반에 걸쳐 엄청난 함의를 남기고 있습니다. GeekNews에 소개된 한한 분석을 중심으로, "다음 토큰 예측"이 우리에게 어떤 의미를 갖는지 깊이 있게 살펴보겠습니다.

단순한 원리, 거대한 함의

LLM은 기본적으로 "다음 토큰을 예측하는 확률 모델" 입니다. 챗GPT에 질문을 하면 모델은 첫 번째 단어를 쓰고, 다시 그다음 단어를 쓰며, 이 과정을 순서대로 반복합니다. 이 원리는 명확하지만, 그 결과는 우리의 상상을 쉽게 벗어납니다.

LLM이 하는 일은 결국 "가장 그럴듯한 다음 단어를 반복하는 것"입니다. 그럼에도 이 모델은 수학 증명도 하고, 코드를 작성하며, 소설도 만들어냅니다. 여기서 발생하는 질문은 단순합니다. "이것이 인간의 창작과 무엇이 다른가?"

"구원"에서 "노동 절감"으로 바뀐 AI의 약속

AI 기술이 등장했을 때, 그 기대는 컸습니다. 기후 변화 해결, 질병 퇴치, 빈곤 해소 — 이롭고 거대한 목표들이였습니다. 그러나 현실은 빠르게 변했습니다. 프런티어 연구소들은 거대한 목표를 제쳐두고, 보다 일상적이지만 불편한 동기인 노동 절감을 앞세우기 시작했습니다.

가장 착취당하는 계층에게도 "필요한 노동력"이라는 협상 카드가 존재했습니다. 기업들은 그 카드를 빼앗기 위해 수십억 달러를 투자하고 있습니다. Anthropic의 CEO 다리오 아모레이(Dario Amodei)는 노동 협상 카드가 더 이상 유효하지 않을 것이라고 발언한 것으로 유명합니다.

기업들이 원하는 최종 비용 구조

"AI와 함께"라는 구호는 아름답습니다. 그러나 기업이 원하는 진짜 구조는 다릅니다. 궁극적으로 남는 비용은 토큰 비용뿐입니다. 사람은 입력을 받아 AI로 출력을 만드는 노드가 됩니다.

지식 노동자들 사이에서 유행하는 "AI와 함께, AI에 의해가 아니라"라는 구호는 현실 회피처럼 보일 수 있습니다. 기업은 25만 달러짜리 전문가와 토큰 비용 대신, 동남아시아에서 3만 달러짜리 사람과 토큰 비용으로 같은 결과를 얻으려 합니다.

이 노동 차익거래는 일시적입니다. 궁극적으로 기업이 원하는 비용 구조는 토큰 비용만 남기는 것입니다. 공예나 직업에서 느끼던 기쁨과 만족은 처리량 극대화 논리 속에서 사라지고, 사람은 스스로 검토하거나 검증하기 어려운 속도로 작업 흐름을 밀어내야 합니다.

수학, 발견, 그리고 계산 자원의 격차

Fields 메달리스트 팀 가워스(Tim Gowers)는 ChatGPT 5.5 Pro 사용 경험을 정리하며, 입력 100만 토큰당 30달러, 출력 100만 토큰당 180달러라는 비용을 언급했습니다.

수학을 통해 어떤 형태의 불멸성을 얻으려 한다면, 그것이 오래 가능하지 않을 수 있으며 "당신뿐 아니라 누구에게도" 해당될 수 있다고 그는 말합니다.

"AI와 함께"라는 구호와 달리, 연구소와 기업은 에이전트가 다른 에이전트를 감시하며 해법과 발견을 무차별적으로 탐색하게 만들 수 있습니다. 개인은 무제한 계산 자원이나 특화 모델을 갖지 못하므로, 같은 방식으로 경쟁할 수 없습니다.

학습 데이터는 어떻게 만들어졌나

모든 웹사이트, 책, 작성물, 사진, 영상은 기본적으로 학습 말뭉치에 들어가는 옵트아웃 구조에 가깝습니다. 웹사이트 운영자가 robots.txt에 줄을 추가하면 예의 있는 스크래퍼를 막을 수 있지만, 자신을 식별하지 않는 스크래퍼가 많고 스크랩 콘텐츠의 암시장이 있을 가능성도 있습니다.

수천 명이 낮은 보수로 데이터셋을 라벨링하고, 정제하며, 최적화합니다. 데이터센터가 빠른 속도로 지어지면서 많은 사람이 더 높은 공공요금을 내는 구조에 편입됩니다.

AI 러시와 자본주의

AI 기계장치에는 엄청난 금액이 투입되고 있습니다. 수익 약속 없이 이런 투자가 진행되지는 않습니다. 만약 수익 약속이 없었다면, 같은 돈은 기후변화 되돌리기나 거북 보호 같은 곳에 쓰였을 수 있습니다.

여러 면에서 AI 러시는 자본주의의 포스터 자녀에 가깝습니다. 다른 방식으로는 이런 규모로 일어나기 어려웠을 것으로 보입니다.

국가안보 프레임이 등장하면서 이야기는 달라집니다. 세계 지도자들은 AI 경쟁에서 앞서지 않으면 파국이 온다는 식의 압박과 설득을 받습니다. 연구소들은 데이터센터 건설 감독을 줄이기 위해 AI를 국가안보 문제로 만들었고, 방위 분야에 필수적인 도구로도 제시합니다. 국가안보가 되면 다시 옵트아웃은 사라지고, 사람들은 기본값으로 그 비용을 부담하게 됩니다.

개인정보, 학습 데이터, 닫힌 순환

사람들은 쿠키가 무엇이고 왜 브라우저에 작은 문자열을 저장하는 데 동의가 필요한지 오랫동안 배워왔습니다. 이제는 자신과 타인의 개인정보와 이야기를 별것 아닌 텍스트 상자에 자발적·비자발적으로 입력합니다.

OpenAI는 API 제공에서도 평균적인 사용자에게는 제로 보존 정책을 제공하지 않으며, 대화를 명시되지 않은 기간 동안 저장합니다.

이 순환은 스스로 닫힙니다. 사람들은 정원 안에 갇히지만, 수확에서는 배제됩니다.

다음 토큰 예측이 남기는 자리

다음 토큰 예측이 남기는 자리는 단순합니다. 인류가 수세기 동안 만들어온 집단 산출물로 만든 무언가에 대해 끝없이 임대료를 내는 구조입니다. 이것은 계급과 무관하게 개인에게 좋은 위치가 아닙니다.

"AI와 함께"라는 구호와 달리, 기업이 원하는 최종 비용 구조는 토큰 비용만 남기는 것이며, 사람은 검증하기 어려운 속도로 산출물을 밀어내는 노드가 됩니다.

개발자에게 남는 것

결국 남는 질문은 단순합니다. "AI 시대, 개발자에게 남는 것은 무엇인가?"

AI는 코딩을 "민주화"한다고 주장합니다. 그러나 배운 것과 대시보드를 만들어내는 능력은 시장에서 팔 수 없게 될 수 있습니다. 코딩은 원래부터 "민주화"되어 있었습니다. 배우려는 의지만 있으면 무료 자료를 쉽게 찾을 수 있었습니다. AI가 "민주화"하는 것은 없고, 실제 기술의 가치를 0으로 밀어내어 기술 없는 사람이 돈으로 평범함을 사게 만들려는 시도에 가깝습니다.

더 깊은 문제를 생각해 보면, 놀랄 만큼 많은 사람이 이 기술의 함의를 끝까지 생각할 비판적 사고 능력이 부족한 것 같다는 지적도 있습니다.

결론: 균형을 찾기

다음 토큰 예측은 단순한 기술적 메커니즘이지만, 그 함의는 광범위합니다. 노동의 미래, 학습 데이터의 윤리, 자본주의적 구조의 변화 — 이 모든 것이 한 줄의 코드와 수조 개의 파라미터 안에서합니다.

개발자로서 우리가 할 수 있는 것은 AI를 도구로 활용하되, 그 도구가 우리를 대신하는 것이 아니라는 것을 기억하는 것입니다. AI와 함께화하되, 인간만이 할 수 있는 창조와 판단의 영역을 지키는 것이 중요합니다.

AI가 모든 것을 해결해주기를 기다리기보다, 우리가 AI를 어떤 방향으로 이끌 것인지를 고민하는 것이 오늘의 과제입니다.

---

핵심 요약

• LLM의 핵심공인 "다음 토큰 예측"은 단순하지만, 그 영향은 광범위합니다.

• AI의 약속은 기후 해결에서 노동 절감으로 변질되었습니다.

• 기업들이 원하는 궁극적 비용 구조는 토큰 비용뿐입니다.

• 학습 데이터의 형성에는 우리의 산출물이 기본 포함됩니다.

• "AI와 함께"라는 구호와 현실 사이에는 큰 격차가 존재합니다.

AI 시대, 균형을 찾는 것이 중요합니다. 기술의 발전을 수용하되, 인간의 가치와 판단력을 지켜내는 것이 과제입니다.

---

📚 출처

• https://news.hada.io/topic?id=29965