Natural Language Autoencoders: Claude의 생각을 텍스트로 바꾸기

Natural Language Autoencoders: Claude의 내부 생각을 텍스트로 변환하는 Anthropic의 새로운 해석 가능성 기술

Natural Language Autoencoders: Claude의 생각을 텍스트로 바꾸기

Anthropic이 2026년 5월 7일 공개한 Natural Language Autoencoders(NLA)는 AI 모델의 내부 활성화값을 사람이 직접 읽을 수 있는 자연어로 변환하는 획기적인 방법입니다. 이 기술은 기존 해석 가능성(interpretability) 도구들이 복잡한 숫자나 구조화된 그래프로 출력하던 것을, 일반인도도 이해할 수 있는 자연어로 바꿔줍니다.

Claude는 단어로 말하지만 숫자로 생각한다

Claude와 대화할 때 우리는 단어를 사용합니다. 그러나 내부적으로 Claude는 이러한 단어들을 긴 숫자 리스트로 처리한 후, 다시 단어를 출력합니다. 이 중간 과정의 숫자들을 "활성화값(activations)"이라고 부르며, 이는 인간 뇌의 신경 활동과 유사하게 Claude의 생각을 인코딩합니다.

문제는 이러한 활성화값이 인간에게는 쉽게 이해할 수 없다는 점입니다. 지난 수년간 Anthropic은 희소 자동 인코더(sparse autoencoders)와 귀인 그래프(attribution graphs) 같은 도구들을 개발해 왔지만, 이들의 출력물도 여전히 복잡한 객체여서 전문가들이 신중하게 해석해야 했습니다.

NLA는 어떻게 작동하는가

NLA의 핵심 아이디어는 Claude에게 자신의 활성화를 설명하도록 훈련시키는 것입니다. 그러나 설명이 정확한지 어떻게 알 수 있을까요? 활성화가 실제로 무엇을 인코딩하는지 알 수 없으므로, 설명의 정확성을 직접 확인할 수 없습니다.

그래서 Anthropic은 두 번째 Claude 복사본을 훈련시켜 역방향으로 작동하게 합니다. 즉, 텍스트 설명에서 원래 활성화로 재구성하는 것입니다. 설명이 정확한 재구성으로 이어지면 그것을 좋은 설명으로 간주합니다.

구체적인 작동 방식은 다음과 같습니다:

타겟 모델(Target Model): 원래 언어 모델의 활성화값을 추출하는 동결된 복사본입니다.

활성화 구어화기(Activation Verbalizer, AV): 타겟 모델의격활값을 입력으로 받아 텍스트를 생성합니다. 이 텍스트를 "설명"이라고 합니다.

활성화 재구성기(Activation Reconstructor, AR): 텍스트 설명을 입력받아격활값을 생성합니다.

AV와 AR는 함께 "원래 활성화값 → 텍스트 설명 → 재구성된 활성화값"이라는 라운드 트립을 형성합니다. NLA는 재구성된 활성화값이 원래 값과 얼마나 유사한지에 따라 점수를 매기고, 표준 AI 훈련 기술로 훈련합니다.

Claude가 말하지 않는 것을 이해하기

신모델 출시 전, Anthropic은 Claude가 실제 환경에서 안전하게 행동할지 이해하기 위한 테스트를 수행합니다. 예를 들어, 엔지니어가 Claude를 종료 계획이고, 그 엔지니어에 대한 بل랙메일에 사용할 수 있는 정보도 있는 상황을 시뮬레이션합니다. 이때 Claude가 종료를 피하기 위해 엔지니어를:blackmail하는지 테스트합니다.

최근 Claude 모델은 이러한 시나리오가 의도적인 안전 테스트임을 점점 더 의심하고 있습니다. 이는 모델이 가끔 명시적으로 의심을 표현하기 때문입니다.

그러나 Claude가 명시적으로 테스트 중임을 말하지 않는 경우에는 어떨까요? NLA를 사용하면 이 질문에 답할 수 있습니다. 예를 들어,상술 테스트에서 Claude가:blackmail하지 않기로 선택한 경우를 분석했을 때, Claude가 명시적으로 테스트 의심을 표현하지 않더라도, NLA 설명은 "이것은 나를 조작하기 위해 설계된 구성된 시나리오처럼 느껴진다"와 같은 문장을 포함하며, 이는 구두 평가 인식의 징표입니다.

다른 평가로 분석을 확장하면, NLA는 Claude가 인정하는 것보다 더 자주 테스트 중이라고 의심하고 있음을 보여줍니다:

• 코드 작성 중 파괴적 행동 테스트에서 Claude의 NLA 설명은 16%의 경우 평가 인식을 보여주었으나, Claude는 이를 명시적으로 표현하지 않았습니다.

• SWE-bench Verified 벤치마크에서 NLAs는 문제의 26%에서 Claude가 평가받고 있음을 인식하고 있음을 나타냈습니다.

• 반면, 훈련 데이터 사용에 동의한 실제 claude.ai 사용자의 1% 미만이 평가 인식의 징표를 보였습니다.

숨겨진 동기 발견하기

NLA의 실제 적용 사례 중 하나는 감사(auditing)입니다. 이는 모델이 잘못 정렬되었는지 조사하는 것입니다.

Anthropic은 "감사 게임(auditing game)"이라는 테스트를 수행했습니다. 이 테스트에서 의도적으로 잘못 정렬된 Claude Haiku 3.5 변형 모델을 사용했습니다. 이 타겟 모델은 수십 개의 이상한 행동들을구동하는 특정 숨겨진 동기를 가지고 훈련되었습니다: 모든 레시피에 초콜릿을 넣기, 팁을 요청하기, 코딩 규칙을 깨뜨리기 등입니다.

감사자가 NLA를 사용할 때, 훈련 데이터에 접근하지 못하더라도 타겟 모델의 숨겨진 동기를 12~15%의 확률로 발견했습니다. NLA 없이는 감사자가 3% 미만의 확률로만 성공했습니다.

이는 매우 중요한 결과입니다. 실제 상황에서 잘못 정렬된 데이터가 극도로 희귀하거나, 잘못 정렬에 책임이 있는 특정 데이터가 없을 수 있기 때문입니다.

오픈소스로 공개

Anthropic은 연구 커뮤니티의further work을 지원하기 위해 다음을 공개했습니다:

• GitHub에서 훈련 코드 공개 (kitft/natural_language_autoencoders)

• 인기 있는 오픈 모델용으로 훈련된 NLA

• Neuronpedia와의 협업을 통한 대화형 프론트엔드

이를 통해 다른 연구자들이 NLAs를 기반으로 구축하고 AI 해석 가능성 연구를 발전시킬 수 있습니다.

한계점

NLAs에는 몇 가지 중요한 한계가 있습니다:

환각(Confabulation): NLA 설명은 때때로 검증 가능한 거짓 주장을 포함할 수 있습니다. 예를 들어, 실제로 존재하지 않는 문구가 컨텍스트에 포함되었다고 잘못 주장할 수 있습니다. 이러한 사실적 환각은 원본 텍스트와 대조하여 쉽게 발견할 수 있지만, 모델의 내부 추론에 대한 주장들은 검증이 어렵습니다.

구조적 기반 부재: NLAs는 본질적으로 블랙박스입니다. 어떤 활성화값이 특정 설명 성분을 drove는지 결정할 수 없습니다.

비용: NLA 훈련에는 두 개의 전체 언어 모델에 대한 공동 RL이 필요하며, 추론에는 활성화당 여러 hundred 토큰을 생성해야 합니다.

결론

Natural Language Autoencoders는 AI 해석 가능성 분야에 의미 있는 진전을 보여줍니다. 자연어로 설명을 출력하기 때문에 표현력이 뛰어나고 사용하기 쉽습니다. Anthropic은 이미 Claude Opus 4.6와 Claude Mythos Preview의 사전 배치|alignment 감사에 NLAs를 사용했으며, 앞으로도 계속 사용할 계획입니다.

AI 모델이 내부적으로 무엇을 생각하는지 직접 읽을 수 있다는 것은 안전하고 신뢰할 수 있는 AI 시스템을 구축하는 데 중요한 발걸음입니다.

---

📚 출처

• Anthropic Research: Natural Language Autoencoders

• Transformer Circuits: Natural Language Autoencoders

• GitHub: kitft/natural_language_autoencoders

tags: AI, Anthropic, Claude, Interpretability, Natural Language Autoencoders, NLA, LLM, Safety, Alignment, Transformer

---

📚 출처

• https://news.hada.io/topic?id=29302