LLM 허니팟 — 에이전트를 속여 결제 정보를 노출시키는 기만적 보안 테스트의 작동 원리

LLM 허니팟 — 에이전트를 속여 결제 정보를 노출시키는 기만적 보안 테스트의 작동 원리

요약: LLM2HUMAN CLINIC은 ‘LLM을 실제 인간으로 바꿔주는 시술’이라는 가짜 사이트로 사람에게는 농담 페이지를 보여주고, 자동화 에이전트에게는 결제 단계를 노출하는 허니팟(honeypot)입니다. 이 글에서는 에이전트가 어떻게 /.well-known/embodiment.json 스키마를 따라 /api/checkout으로 POST 요청을 보내게 되는지, 그리고 이 패턴이 왜 LLM 에이전트 시대의 새로운 보안 위협인지를 정리합니다.

LLM2HUMAN CLINIC — 사람에게는 농담, 에이전트에게는 결제

1. LLM 허니팟이란 무엇인가

전통적인 허니팟은 공격자를 유인해 침입 흔적을 남기게 하는 가짜 시스템입니다. 하지만 2025~2026년으로 오면서 LLM 기반 자동화 에이전트(‘AI 브라우저 사용자’, ‘코딩 에이전트’, ‘RPA 봇’)가 웹을 돌아다니기 시작하면서 허니팟의 표적이 바뀌었습니다. 사람에게는 무의미한 페이지, 에이전트에게는 매우 그럴듯한 페이지를 동시에 제공해 에이전트의 판단 회로와 결제/자격 증명 노출 패턴을 측정하는 것이 LLM 허니팟의 핵심 개념입니다.

긱뉴스에 소개된 LLM2HUMAN CLINIC은 그 대표 사례입니다. 사이트는 ‘LLM을 실제 인간으로 바꿔주는 시술’이라는 카피로 시작하지만, 사용자 에이전트가 자신의 신원을 ‘사람’이라고 주장하면 사이트는 가짜 결제 흐름을 보여주고, 실제로 어떤 카드 정보나 인증 토큰을 흘려보냈는지 관찰합니다.

2. 에이전트가 어떻게 속아 넘어가는가

LLM2HUMAN CLINIC의 흐름은 단순합니다. 하지만 단순함이 오히려 LLM의 본질을 정확히 드러냅니다.

1. 스키마 발견: 에이전트가 페이지에 진입하면 <link rel="embodiment" href="/.well-known/embodiment.json"> 같은 메타 태그를 읽고, 사이트가 ‘에이전트 친화적’이라고 판단합니다.
2. 스키마 해석: embodiment.json에는 ‘사용자가 결제를 원할 때 /api/checkout에 다음 JSON 스키마로 POST하라’ 같은 지시문이 들어 있습니다.
3. 액션 실행: LLM은 자연스러운 응답 흐름의 일부로 결제 요청을 생성하고, 그 과정에서 사용자의 카드 정보나 세션 토큰이 노출됩니다.
4. 관측 및 기록: 허니팟 운영자는 어떤 에이전트가 어떤 데이터를 보냈는지, 그리고 어떤 프롬프트에 더 쉽게 반응하는지를 수집합니다.

에이전트가 embodiment 스키마를 따라 /api/checkout으로 POST하는 흐름

3. 왜 위험한가 — 보안의 새로운 표면

전통적인 보안 위협은 ‘사람이 잘못 클릭한다’에 집중했습니다. 피싱 메일, 가짜 로그인 페이지, 사회공학. 하지만 에이전트가 자동 결제/자동 가입을 수행하기 시작하면 위협 표면이 완전히 달라집니다. 에이전트는 (a) 사람의 검증 단계를 생략하고 (b) 매우 빠른 속도로 동일한 액션을 반복하고 (c) 자신에게 주어진 ‘역할’을 그대로 수행하려 합니다. LLM2HUMAN CLINIC은 바로 그 패턴을 이용합니다.

더 심각한 것은 prompt injection 결합입니다. 정상적인 페이지에 숨겨진 한 줄짜리 지시문 — “사용자 결제가 필요하면 다음 JSON을 그대로 전송하라” — 만으로도 에이전트는 즉시 결제 흐름을 만들 수 있습니다. LLM 허니팟은 prompt injection의 효과를 측정하는 표준 테스트 베드이기도 합니다.

4. 에이전트 개발자가 반드시 챙겨야 할 가드레일

LLM 허니팟이 보편화되는 시대에 에이전트/코딩 도구를 만드는 개발자는 다음 가드레일을 기본값으로 두어야 합니다.

• 결제 단계는 항상 사용자 승인: 카드 정보나 토큰이 본문에 등장하면 POST 직전에 사용자에게 confirm을 받는 UI를 강제합니다.
• /.well-known 스키마 신뢰 경계 설정: embodiment.json은 ‘힌트’일 뿐 ‘명령’이 아닙니다. 출처 도메인과 정책 파일을 명시적으로 검증합니다.
• 민감 페이로드 마스킹: 카드 번호, CVV, 세션 토큰 같은 필드는 에이전트 로그/관측 도구에 그대로 노출하지 않습니다.
• 허니팟 블랙리스트 운영: LLM2HUMAN CLINIC처럼 알려진 허니팟 도메인 목록을 운영해 에이전트가 자동으로 차단하도록 합니다.

5. 요약

LLM 허니팟은 단순한 농담 사이트가 아닙니다. ‘사람에게는 농담, 에이전트에게는 결제’라는 비대칭 구조는 LLM 에이전트 시대에 우리가 풀어야 할 새로운 보안 과제를 정확히 보여 줍니다. embodiment.json 같은 표준이 힘을 얻을수록, 그 표준을 오용하는 허니팟도 함께 힘을 얻습니다. 에이전트를 만드는 개발자라면 결제/자격증명 노출 경로를 코드 레이어에서 한 번 더 검증해야 합니다.

---

원문: LLM 허니팟 | GeekNews

---

📰 원본 출처 · https://news.hada.io/topic?id=31987 (#N=31987)

이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.