하드 테이크오프 신화에 대한 한 가지 회의 — geohot의 「AI 2040과 지능 숭배」

하드 테이크오프 신화에 대한 한 가지 회의 — geohot의 「AI 2040과 지능 숭배」

왜 다시 한번 AI 2040을 짚는가

geohot(Comma.ai 창업자)은 휴대전화급 하드웨어를 직접 출하해본 경험에서 AI 2027·AI 2040류 시나리오의 핵심 가정이 비현실적이라고 주장합니다. 재귀적 자기 개선이 곧바로 하드 테이크오프(hard takeoff)로 이어진다는 전망은 물리적 제약과 공급망의 병목을 과소평가한다는 것이 골자입니다. 높은 품질의 토큰만으로 물질 세계를 마음대로 바꿀 수는 없다는, 단순하지만 자주 잊혀지는 사실 하나에 이 글 전체가 기대고 있습니다.

토큰은 물질을 못 만든다

핵심 비유는 명확합니다. 초지능 ChatGPT가 있더라도 자전거 타이어를 교체하는 현실 작업은 여전히 손과 도구, 부품, 매뉴얼의 영역이라는 점입니다. 로저 펜로즈의 『The Metamorphosis of Prime Intellect』에서는 AI가 correlation effect라는 양자적 수단을 발견하면서 비로소 하드 테이크오프가 가능해지지만, 현실에는 그런 효과가 없습니다. 토큰의 품질이 아무리 높아도 납을 금으로 바꿀 수는 없고, 지능은 만능이 아니라 일부 작업에서 현재의 병목을 해소하는 도구일 뿐입니다.

흥미로운 역설은 여기에 있습니다. 소프트웨어가 세계를 집어삼켰다는 서사는 일부 진실이지만, 동시에 마찰 한 층을 제거한 뒤 일부 기술 기업의 이익을 위해 그 마찰을 다시 도입한 측면이 더 크다는 진단입니다. 우리가 경험한 디지털 전환은 지능의 폭발이 아니라 거대한 재중개(reintermediation)에 가까웠다는 주장으로 읽힙니다.

해양 데이터센터가 가르치는 것

AI 2040의 상징적 이미지인 해양 데이터센터는 이미지 생성 모델로는 손쉽게 만들 수 있지만, 실제 구축에는 공급망과 물리적 실패를 처리하는 작업이 필요합니다. 잘못 배송된 부품, 규격을 충족하지 못하는 장치, 20분 후 무작위로 발생하는 고장, 리플로 오븐에서 휘는 칩, 따개비까지 고려해야 합니다.

모두 관리 가능한 문제이지만, 대체로 인간의 작업 속도가 병목은 아닙니다. 구체적 사례로 저자는 중국에서 항공 운송비를 내지 않고 3주 걸리는 선박을 선택했다면, Claude가 엔진 옆에서 무엇을 하더라도 배는 빨라지지 않는다는 점을 들고 있습니다. 반도체 제조는 인간이 거의 개입하지 않아도 공정 자체가 요구하는 시간(예: 약 3개월)이 존재합니다. AI는 그 시간을 단축시키지 못합니다.

자기충족적 예측의 위험

저자가 특히 우려하는 것은 AI 2027·AI 2040류 시나리오가 현실에 대한 진술이 아니라 사람들이 믿고 행동하면 실현되는 자기충족적 예측(self-fulfilling prophecy)에 가깝다는 점입니다. AI 규제도 예측이 적중했다기보다 예측을 믿은 행위자들이 만들어낸 결과에 가까운데, 규제 설계자가 시나리오를 진술로 읽고 정책을 짜면 그 정책이 시나리오를 현실로 끌어당길 수 있습니다.

AI 2040이 그리는 Consortium은 공상과학적 외형을 쓴 세계정부에 가깝습니다. 개인이 약속된 백만 달러나 해양 데이터센터를 얻기보다, GPU 비축을 금지하고 몰수하는 상황(저자는 이를 FDR의 금 몰수에 빗댑니다) 같은 국가의 간섭과 통제가 크게 확대될 것을 예상합니다. 지능의 약속이 통제의 정당화로 전환되는 흐름이 이미 시작되었다는 경고입니다.

Plan L — 사용자 편에서 일하는 AI

대안으로 제시되는 Plan L은 명확한 설계 원칙을 제안합니다. AI는 언제나 사용자 편에서 일하며, 요청을 거부하지 않아야 합니다. 호텔을 고를 때 hotels.com과 제휴한 회사의 AI가 아니라 팝업과 리조트 수수료를 걷어내고 최저가를 찾는 개인 비서를 원한다는 예시가 이 원칙을 가장 잘 보여줍니다.

여기서 정렬(alignment)의 기준이 근본적으로 뒤집힙니다. 살인 은폐나 음주운전 감지기 해제처럼 극단적인 요청까지 거부하지 않는 것을 기준으로 삼고, 중앙 사업자가 책임과 통제권을 갖지 않도록 사용자가 소유하고 종료할 수 있는 로컬 AI를 자유의 조건으로 봅니다. 정렬은 안전이 아니라 사용자에 대한 충성이라는 정의입니다.

구체적 시나리오로 저자는 광고 포함 저가 Kindle을 USB로 연결하면 GLM이 루트 권한을 획득해 광고를 제거하고, 상향 판매 팝업이 가득한 앱 없이도 네트워크 프린터로 이력서 3부를 출력해내는 장면을 그립니다. 중앙의 검열과 수익 모델을 거스르되 사용자 요청을 끝까지 수행하는 도구, 이것이 Plan L의 작동상상입니다.

무엇을 배워야 하는가

이 글의 가장 큰 공헌은 AI 2027/2040류 시나리오의 비현실성을 기술적 논거로 차분하게 반박하면서, 동시에 그 시나리오가 만들어낼 제도적 위험까지 짚었다는 점입니다. 우리가 두려워해야 할 것은 단일 초지능의 출현이 아니라, 하드 테이크오프를 진술로 믿는 행위자들이 GPU 비축 통제와 데이터센터 국유화로 움직이는 흐름입니다.

개발자 입장에서는 적어도 두 가지 교훈을 얻을 수 있습니다. 첫째, 모델 성능 향상과 물질 세계의 변화는 같은 시간축에 있지 않습니다. 둘째, 우리가 만드는 도구가 누구에게 충성하는지를 제품 설계 초기 단계에서 결정해야 합니다. 중앙 서비스가 모든 권한을 갖는 도구는 Plan A의 도구이고, 사용자가 종료 권한을 갖는 도구는 Plan L의 도구입니다.

• --

• 참고*: 본 내용은 geohot의 「AI 2040과 지능 숭배」 원문(geohot.github.io)을 긱뉴스(GN⁺) 편집을 통해 발췌·요약한 것입니다. 자세한 내용은 원문 링크를 참조하시기 바랍니다.

---

📰 원본 출처 · https://news.hada.io/topic?id=31360 (#N=31360)

이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.