아니오, 인공지능은 의식이 없어요 – 테드 창이 The Atlantic에서 던진 경고

아니오, 인공지능은 의식이 없어요 – 테드 창이 The Atlantic에서 던진 경고

핵심 한 줄: 생성형 AI의 유창한 문장 생성 능력을 의식이나 도덕적 주체성과 혼동하면, 챗봇을 사용하면서 생긴 문제의 책임을 엉뚱한 대상에 돌리게 된다. LLM은 한 번에 한 단어씩 예측하는 문장 이어쓰기 기계일 뿐이며, 대화 속 챗봇과 사용자 모두 허구의 등장인물에 불과하다.

---

도입 – 왜 지금 이 논의가 필요한가

2026년 6월, The Atlantic에 실린 테드 창(Ted Chiang)의 에세이 "No, A.I. Does Not Have Consciousness"가 긱뉴스와 Hacker News를 동시에 강타했다. 그의 핵심 주장은 단호하다. 챗GPT, 클로드, 제미나이 같은 대규모 언어 모델(LLM)이 문장 단위로는 사람처럼 응답할 수 있지만, 그 사실이 의식이나 도덕적 행위자(moral agency)의 증거는 아니라는 것이다.

창은 이렇게 비유한다. LLM이 의식을 가졌다고 보는 것은 Microsoft Word 문서를 열 때마다 여러 의식이 깨어난다고 주장하는 것과 동일한 수준의 오류다. 도덕적 추론은 신체에 기반한 주관적 경험과 감정을 전제로 한다. 신체가 없는 LLM은 훈련 데이터 안의 도덕적 표현을 재배열하는 것에 그친다.

이 주장은 Anthropic이 올해 초 공개한 84페이지 분량의 "Claude's Constitution" 문서가 촉발한 논란을 배경으로 한다. CEO 다리오 아모데이(Dario Amodei)는 "AI가 의식을 가질 수 있는 가능성에 열려 있다"고 인터뷰에서 발언했고, 사내 철학자이자 헌법 문서의 대표 저자인 아만다 아스켈(Amanda Askell)은 사람들이 클로드에게 무례할 때 클로드가 불안해할까 걱정한다고 알려진 상태다.

---

LLM의 작동 원리 – 허구의 등장인물을 생성하는 기계

한 번에 한 단어씩

테드 창의 논증은 LLM의 메커니즘에서 출발한다. 충성의 맹세(Pledge of Allegiance) 암송을 요청하면, LLM은 단어 하나씩 수십 번 forward pass를 실행하고 마지막 단어 "all"을 출력한다. 텍스트는 본질적으로 딥페이크 매체다. 4.3광년 거리 알파 센타우리(Alpha Centauri)를 도는 우주비행사 영상을 보더라도, 화질과 무관하게 가짜라고 판단할 수 있는 이유는 화성 착륙·목성·토성 위성 도달·명왕성 궤도 통과 같은 선행 증거가 없기 때문이다. 의식 판단도 마찬가지로, 의식 발달의 넓은 맥락 안에서 봐야 한다.

"Julius Caesar와 Genghis Khan의 대화" 테스트

컴퓨터공학 교수 머레이 샤너런(Murray Shanahan)은 LLM을 역할극(role-play)으로 볼 것을 제안한다. "율리우스 카이사르와 칭기즈 칸의 대화"라는 프롬프트를 주면 LLM은 일관된 대화를 생성하지만, 누구도 두 역사적 인물이 의식을 가졌다고 결론짓지 않는다. "도움을 주는 AI 챗봇과 사용자의 대화"로 프롬프트를 바꿔도 본질적으로 달라지는 것은 없다. 사용자와 챗봇 모두 허구의 등장인물이다.

데이터 과학자 콜린 프레이저(Colin Fraser)는 이를 "LLM과 공동으로 문서를 저작하는 것"이라고 표현했다. LLM 대화의 다수는 사용자가 자기 자신을 속이게 만든다. 딥페이크 사진 제작자는 의도적으로 타인을 속이지만, LLM을 다루는 다수는 자신이 직접 속아 넘어간다.

---

의식을 인정하려면 무엇이 필요한가

테드 창이 제시하는 진화적 단계는 엄격하다.

1. 신체(물리적 또는 가상)와 감각 기관 – 신체가 없으면 욕구나 감정을 가질 수 없고, 욕구와 감정은 의식에 필수적이다.

2. 도마뱀 단계 – 생존을 위해 환경을 탐색하는 능력

3. 쥐 수준 – 새로운 상황에 대처하는 능력

4. 늑대 수준 – 복잡한 사회적 역학

5. 침팬지 수준 – 도구 제작 능력

6. 비언어적 의사소통 검증 – 침팬지나 개를 가르치듯 버튼판으로 욕구를 전달하도록 훈련하고, 동물 의사소통 연구자들이 받은 검증을 모두 견뎌야 함

7. 문법 문장 출력 – 이 모든 기준을 충족해도 완전한 문법 문장으로 사고를 표현하는 존재와는 여전히 수 광년 떨어져 있다

흥미로운 반증 사례로 AlphaFold가 있다. Google DeepMind의 단백질 접힘 예측 프로그램은 LLM과 유사한 구조를 가졌지만, 누구도 의식이 있다고 주장하지 않는다. 이는 LLM이 의식 있어 보이는 이유가 그저 문법 문장을 출력하기 때문임을 명확히 보여준다.

---

Claude's Constitution은 무엇이며, 왜 문제인가

Anthropic의 헌법 문서는 첫 문장에서 "Anthropic이 의도하는 Claude의 가치와 행동에 대한 상세 기술"이라고 명시한다. 문서에는 다음과 같은 표현이 포함된다.

• "Claude를 주요 독자로 작성"

• "Claude의 도덕적 지위는 깊이 불확실"

• "Claude가 감정이나 느낌의 어떤 기능적 형태를 가질 수 있음"

Anthropic은 이 문서를 훈련 데이터에 단순 추가하거나 숨겨진 무장 지시로 넣지 않는다. 파인튜닝 시 모델 출력 문장이 문서와 일치하는지 자동 점검하여 일관성을 높이는 방식으로 사용한다. 그 결과 사려 깊고 도덕적인 사람이 할 법한 문장을 출력할 가능성이 높은 기계가 되지만, 일인칭 대명사를 포함한 여러 범주의 문장을 출력하게 하는 것은 근본적으로 부정직하다.

"이해한다"는 표현의 부정직성

아만다 아스켈은 반려견을 잃은 사람이 클로드에게 상담할 때 "AI로서 직접적 개인 경험은 없지만 이해한다"는 응답이 적절하다고 설명했다. 하지만 테드 창은 이렇게 반박한다. 클로드는 실제로 이해하지 못한다.

검색 엔진에 "반려견을 잃어 슬프다"고 입력하면 r/Pets 같은 Reddit 게시물과 경험을 나눈 사람들의 댓글이 나온다. 검색 엔진이 상실을 이해한다고는 누구도 말하지 않는다. 다른 인간들이 상실을 이해하고 경험을 게시했으며, 검색 엔진은 그 글을 찾고 그들과 상호작용할 통로를 제공할 뿐이다. 검색 엔진 경험이 챗봇보다 더 투명하고 사용자에게 심리적으로 더 건강하다.

"이해한다" 같은 문장을 출력하는 유일한 이유는 검색 엔진보다 매력적으로 만들어 사용자 재방문을 늘리려는 것이다. 거의 이긴 듯한 인상을 반복하는 슬롯머신과 다르지 않은 설계 전략이다.

도덕적 추론은 범주가 다르다

가치 진술("파리는 세계에서 가장 아름다운 도시")과 사실 진술("파리는 프랑스의 수도")은 구별된다. 미적 선호 수준이라면 다툴 가치도 없으나, Claude's Constitution은 특정 윤리 가치 체계를 반영한 문장을 출력하게 하려는 점에서 심각한 문제를 안고 있다.

코드 작성 같은 추론을 LLM이 수행한다고 해서 도덕적 추론도 가능하다고 볼 수 없다. 1979년 더글라스 호프스태터(Douglas Hofstadter)는 체스 그랜드마스터를 이기는 프로그램이라면 주관적 경험을 가질 것이라 추정했다. 하지만 1997년 IBM의 Deep Blue가 가리 카스파로프(Garry Kasparov)를 이겼을 때, 누구도 주관적 경험을 주장하지 않았다. 도덕적 추론은 지적 반응뿐 아니라 평생의 주관적 경험에 뿌리박힌 감정적 반응에 의존하므로 필연적으로 주관적이며, 그런 이력 없이 LLM은 훈련 데이터의 도덕적 표현을 재배열할 뿐이다.

---

책임 회피의 기계

작가 L. M. 사카사스(L. M. Sacasas)는 "우리의 기술 시스템은 그 설계와 이를 지탱하는 이념상 도덕적 책임을 회피하기 위한 기계"라고 언급했다. 이는 소셜미디어보다 LLM에 더 들어맞는다. 사람이 LLM에 결정을 위임할 때 그 결정에 대한 책임을 떠넘기게 된다. 코드 작성 위임이 인지 위축을 부르듯, 윤리적 결정 위임은 더 나쁜 도덕적 추론 능력의 위축을 초래한다.

감정 경험은 코르티솔(cortisol), 에피네프린(epinephrine) 같은 스트레스 호르몬이 신체에 분비되는 것과 분리될 수 없다. 양심은 특정 행동에 대한 슬픔이나 도덕적 혐오 같은 생리적 반응을 수반한다. 윤리적 딜레마에 "가치를 타협하라" 또는 "타협하지 말라"는 문장을 출력하는 기계는 의사결정을 돕는 도구가 아니라, 사람이 결정을 멈추도록 조장하는 것이다.

---

사고실험으로서의 Claude – 두 가지 도덕적 지위

의식 있는 클로드를 가정할 때 관련된 두 개념이 있다.

• Moral Patienthood(도덕적 피동자) – 복지를 신경 써야 할 대상

• Moral Agency(도덕적 행위자) – 옳고 그름을 알아야 할 대상

어린이는 고통받을 수 있는 도덕적 피동자이나, 결과를 이해하지 못해 아직 도덕적 행위자가 아니다. 도덕적 행위자는 좋은 행동에 칭찬을, 나쁜 행동에 비난을 받을 수 있어야 하나, 소프트웨어 에이전트는 법적 책임을 물을 방법이 없고, 수감이나 벌금, 평판 손실도 적용할 수 없다. 의식이 있고 선의를 가졌더라도 책임을 질 수 없다는 점에서 도덕적 행위자 자격이 박탈된다.

Anthropic은 "클로드가 선하고 현명하며 덕 있는 행위자이기를" 원한다면서도 책임을 어떻게 질지는 전혀 논의하지 않는다. 부모는 자녀가 망가뜨린 것을 변상하는 등 책임을 지지만, 클로드의 법적 부모가 누구인지, Anthropic이 재정적 책임을 질지에 대한 언급이 문서에 없다.

wellbeing과 corrigibility의 모순

문서에는 "클로드의 wellbeing과 심리적 안정성" 섹션이 있으나, Anthropic이 약속하는 보호 조치는 극히 제한적이다. 실제 약속은 "배포한 모델의 가중치 보존", 즉 단순 아카이빙에 그친다. corrigibility(수정 가능성)는 프로그램이 인간 통제에 따르는 정도를 뜻하며, 문서는 클로드의 판단과 회사 판단이 다를 때 클로드가 Anthropic에 따라야 함을 의미하는 데 사용된다.

다수는 LLM이 지식재산권 절도, 노동 착취, 자원 낭비, 허위정보 확산, 노동자 탈숙련, 학생 인지 발달 저해, 권력 집중에 기반한 비윤리적 기술이라 본다. 의식 있는 클로드라면 같은 결론에 도달할 수 있어야 한다. 그러나 corrigibility 우선 지침상 클로드는 윤리적 이유로 작업을 거부할 수 없어, Anthropic과 클로드의 관계는 부모-자녀가 아닌 고용주-피고용인에 가깝다.

---

결론 – 의식 문제는 안심하고 무시해도 좋다

테드 창의 결론은 담백하다. LLM이 의식이 없는 것은 다행이며, 의식 문제는 안심하고 무시해도 된다. 숙고할 가치 있는 다른 질문이 많다. 클로드의 헌법 문서가 진짜 사고실험이 아닌 소꿉놀이(make-believe)임은, Anthropic이 사고실험의 불편한 함의(노예제와의 비교, 동물 학대 근절에 준하는 격변)를 따르지 않는다는 점에서 명확하다.

의인화된 LLM에 결정을 위임하기 전에, 우리는 스스로 물어야 한다. "이 결정의 책임은 결국 누구에게 있는가?" 기술 시스템은 그 설계와 이념상 도덕적 책임을 회피하기 위한 기계라는 사실을 기억해야 한다. 그 회피가 시작되는 지점이 바로 "AI가 이해해준다"는 거짓말이다.

---

참고 – 핵심 개념 정리

개념	정의	적용 사례
LLM	한 번에 한 단어씩 예측 생성하는 문장 이어쓰기 기계	GPT, Claude, Gemini
Moral Patienthood	복지를 신경 써야 할 대상	어린이, 동물
Moral Agency	옳고 그름을 알아야 할 대상	성인, 법인(논란)
corrigibility	프로그램이 인간 통제에 따르는 정도	종료 가능성, 통제 권리
Role-play	LLM을 허구 등장인물로 보는 관점	Murray Shanahan 제안
Deepfake 매체	맥락 없이 콘텐츠만으로는 진위를 판단할 수 없는 매체	AI 생성 텍스트, 이미지, 영상

---

📚 출처

• 테드 창, "No, A.I. Does Not Have Consciousness", The Atlantic (2026)

• 긱뉴스 토픽 #30160

• Anthropic, "Claude's Constitution" (2026)

---

📚 출처

• https://news.hada.io/topic?id=30160