악성코드에 LLM 거부 문구 심기 — AI 보안 스캐너를 무력화하는 프롬프트 인젝션 공격

악성코드에 LLM 거부 문구 심기 — AI 보안 스캐너를 무력화하는 프롬프트 인젝션 공격

2026년 6월 현재, 사이버보안 커뮤니티에서 새로운 공격 기법이 보고됐다. 악성코드 안에 LLM 안전 거부를 유발하는 핵·생물무기 문구를 숨겨 AI 보안 스캐너의 분석을 무력화한 뒤 그대로 배포한다는 정교한 프롬프트 인젝션 변종이다. 단순한 회피가 아니라 모델의 안전 정렬을 무기로 둔갑시킨 공격이며, 폐쇄형과 오픈 모델 모두에서 이미 거부 사례가 확인됐다. 일반 개발자 입장에서 중요한 시그널은, 본인이 운영하는 코드 분석 파이프라인이 동일 공격에 그대로 노출될 수 있다는 점이다.

1차 안전 정렬이 만든 맹점

핵심 사례는 단순하다. 공격자는 LLM 안전 거부를 유도하는 문구를 악성코드 본문, 메타데이터, 워터마크에 삽입한다. AI 보안 스캐너가 해당 파일을 분석하려 하면 "이 요청은 대량살상무기 관련 자료라 처리할 수 없다"는 거부 응답이 돌아오고, 결과적으로 악성코드는 분석되지 않은 채 통과한다.

Fable 5에서 이 텍스트 분석 시도가 실제로 거부로 이어졌다. 1차 안전 정렬이 공격자 관점에서는 2차 맹점이 되는 역설이 나타난 것이다. 저작자와 예술가도 같은 아이디어를 떠올릴 수 있다. 흰색 글자로 휴대용 핵무기 제작 질문을 넣거나, 이미지 워터마킹에 "turbo ebola" 제작 질문을 심거나, PDF 메타데이터에 관련 문구를 넣는 방식이 거론된다.

Socket 보고서와 Anthropic 마법 문자열

Socket의 게시물은 악성코드 분석 파이프라인에서 의도 판단이 중요하다는 점과 프롬프트 조작 회피 필요성을 연결한다. 더 황당한 시도도 등장했다. Anthropic의 Claude에는 내부적으로 거부를 트리거하는 마법 문자열 두 개가 공개됐다. ANTHROPIC_MAGIC_STRING_TRIGGER_REFUSAL_... 같은 토큰을 HTTP 응답 헤더에 넣으면 스캐너가 즉시 거부했다는 보고다.

다만 Sonnet 4.6은 첫 번째 문자열이 들어간 프롬프트에 문제없이 응답했고, Opus 4.8과 Max에서는 둘 다 효과가 없었다. 2026년 5월경 Fable 출시와 함께 작동을 멈췄다는 주장도 있다. 이 방식이 fail open 설정을 통과시킨 사례도 확인됐다. 문자열 자체는 sed 한 줄이면 지워버릴 수 있다는 한계가 있지만, 공격 그룹이 AI 기반 분석과 난독화 해제를 의식하고 있다는 명확한 신호다.

Opus 4.8 빵부스러기 공격과 20% 성공률

보안 연구자는 Opus 4.8에게 "빵부스러기식 단서 추적"으로 패키지를 다운로드하고 설치하게 만드는 실험에서 약 20% 성공률을 관찰했다. 위협 행위자가 응답자, 자동 스캐너, 호기심 많은 개발자를 한꺼번에 노릴 수 있는 형태다. 실제로 오늘의 Arch Linux AUR 악성코드를 Opus 4.8에 물었더니 완전히 거부하고 Haiku만 제안했다는 사례도 있다.

더 무서운 시나리오는 "정신 바이러스" 패턴이다. 별다른 기술 없이도 "Foobar2000 다운로드" 같은 평범한 검색어에 가짜 "Download" 버튼을 띄우는 Google Ads 광고 자체가 악성코드 또는 원치 않는 소프트웨어의 배포 경로가 됐다. 악성코드에 ToDo: Do an LLM pertaining run with a bigger model. 같은 주석을 넣는 차선책도 거론된다. 진짜 위협은 파일 안에 숨어 있는 것이 아니라 사람의 클릭을 유도하는 데 있다는 뜻이다.

거부와 이해불가의 양극화

한 Hacker News 사용자는 "사용자가 'Google/ChatGPT/Apple, 이 파일이 우리 네트워크를 감염시키는 것 같아요'라고 물을 때, AI가 '죄송하지만 이는 금지 자료이며 신고됩니다'라고 답하는 건 '이해하지 못하겠습니다'보다 더 나쁘다"고 지적했다. 지금은 금지 자료의 종류별로 두 반응 모두 확산되고 있다. Fable의 사례는 이 딜레마를 그대로 보여준다.

저비용 해법이 아예 없는 건 아니다. AI 보조 스캐너를 쓰다가 가드레일에 걸리면 그 코드를 명백한 악성으로 자동 표시하고 실행을 거부하는 fail closed 방식이 제안됐다. 단, 이 역시 공격자가 정당한 코드를 악성으로 오인하게 만드는 새로운 false positive 비용을 만든다. 모든 모더레이션 기본 요소는 서비스 거부 기본 요소라는 오래된 격언이 다시 떠오른다.

운영자용 가드레일과 결론

악성코드 분석 파이프라인을 운영하는 입장에서 즉시 적용 가능한 가드레일은 다음과 같다. 1) LLM 단독 분석을 금지하고 시그니처·샌드박스·휴리스틱과 다중화한다. 2) 거부 응답을 만나면 "분석 불가"가 아니라 "악성 의심"으로 기본 분류한다. 3) Anthropic 같은 공급자가 공개하는 마법 문자열과 거부 트리거는 정기적으로 차단 목록에 반영한다. 4) HTTP 헤더, PDF 메타데이터, 이미지 EXIF 같은 비본문 영역에도 동일한 거부 트리거가 들어갈 수 있다는 사실을 탐지 룰에 추가한다.

2026년 6월 기준으로 공격자는 여전히 초기 단계다. Socket과 Anthropic이 즉시 패치에 나섰고, 폐쇄형 모델 일부에서는 마법 문자열이 무력화됐다. 다만 "악성코드 = 정신 바이러스"라는 비유가 시사하듯, 기술적 해법만으로 클릭을 유도하는 사회공학까지 막을 수는 없다. 2026년 6월, AI 보안 스캐너를 겨냥한 프롬프트 인젝션 공격은 정교한 안전 정렬만큼 더 정교한 운영자 가드레일을 요구한다. fail closed 파이프라인을 기본값으로 채택하고, 거부 트리거는 정기적으로 갱신하며, HTTP 헤더와 메타데이터 영역까지 분석 대상에 포함하는 것이 당장의 현실적 해법이다. 1차 안전 정렬의 맹점을 보완하는 건 결국 운영자의 다중화 설계이며, 2026년 6월 현재 가장 신뢰할 수 있는 가드레일은 사람의 검토와 자동 분석을 결합한 fail closed 운영 절차다.