에이전틱 테스팅으로 본 E2E 테스트의 다음 단계 — Slack 200건 실험 분석

에이전틱 테스팅으로 본 E2E 테스트의 다음 단계 — Slack 엔지니어링 200건 실험 분석

2026년 6월 현재, AI 에이전트를 소프트웨어 테스트에 활용하는 움직임이 가속화되고 있다. Slack 엔지니어링팀이 200건 이상의 에이전틱 워크플로를 실행해 얻은 실험 결과는 기존 결정론적(deterministic) E2E 테스트와 에이전트 기반 테스트가 어떻게 다른지, 어떤 트레이드오프가 존재하는지를 정량 데이터로 보여준다. 회당 $15–30, 실행 시간 10분 이상이라는 비용 부담에도 불구하고 신뢰성·적응성·탐색 능력에서 분명한 활용처가 확인됐다.

에이전틱 테스팅이란 무엇인가

전통적 E2E 테스트는 "클릭 → 입력 → 단언"으로 표현되는 정해진 UI 여정(journey)을 강제한다. 반면 에이전틱 테스팅은 "스레드 메시지 보내기" 같은 목표(goal) 달성 여부를 검증한다. 에이전트는 UI 상태를 관찰하고, 다음 동작을 추론하며, 다양한 경로로 같은 결과에 도달한다.

같은 워크플로를 200회 실행한 결과, 단 20%만이 동일한 동작 순서를 따랐고, 나머지 80%는 서로 다른 유효 UI 경로로 목표에 도달했다. 메뉴를 다른 순서로 열거나, 약간 다른 UI 요소를 선택하거나, 대체 내비게이션 흐름을 사용한 케이스가 대부분이었다. 이 유연성은 디버깅과 탐색적 테스트에 강점이지만, 결정론적 회귀 검증에는 부적합하다.

Slack 실험 구성 — 세 가지 실행 모델

신뢰성·속도·비용을 측정하기 위해 5개 실험 구성을 두 플로(Thread Reply 15–20단계, Search Discovery 25–30단계)에 적용해 총 200건 이상 실행했다.

| 실행 모델 | 도구 | 입력 형식 | 실패율 (단순/복잡) | 평균 시간 | 특징 |

|----------|------|----------|------------------|----------|------|

| Agent + Playwright MCP | 브라우저 프리미티브 직접 호출 | NL/YAML | 0% / 12% | 5–8분 | 지속적 컨텍스트, 동시 실행 가능 |

| Agent + Playwright CLI | 셸 명령 한 단계씩 | NL/YAML | 12% / 20% | 9–11분 | 매 단계 스냅샷, 순차 실행 |

| Generated Playwright Tests | AI가 결정론적 코드 생성 | NL | 8% / 48% | 3분 | 일회성 생성 후 5회 실행 평균 |

실험 모델은 Claude Sonnet 4.5(MCP·CLI 에이전트), 생성형 테스트는 Claude Opus 4.6, 비대화형 Claude Code(claude -p)로 실행했다. 환경은 Slack Dev API MCP + Playwright MCP·CLI + 비프로덕션 테스트 워크스페이스로 구성됐다.

핵심 관찰 — 신뢰성·속도·적응성

• 신뢰성*: 플로가 복잡해질수록 실행 모델 간 격차가 뚜렷해졌다. Playwright MCP가 가장 안정적이었고(0–12%), CLI는 12–20%, 생성형 테스트는 복잡 플로에서 48%까지 실패율이 급등했다. CLI 실패 대부분은 인증 처리·내비게이션 타이밍·세션 불안정 같은 실행 계층 문제에서 발생했고, 에이전트 추론 자체의 결함은 아니었다. MCP는 구조화된 브라우저 프리미티브와 에이전트 도구 호출 워크플로가 긴밀하게 통합된 덕분에 안정성을 확보했다.

• 속도*: 생성형 테스트가 가장 빠르고(약 3분, 생성+실행 포함), MCP는 5–8분, CLI는 9–11분이었다. 순수 실행 시간은 thread reply 약 32초, search discovery 약 45초로 결정론적 테스트보다 느리지만, 한 번 생성된 코드는 CI에서 반복 실행되므로 결정론적 테스트가 효율적으로 확장된다. 반면 에이전트 워크플로는 매 실행마다 비용이 발생한다.

• 적응성*: 20%만이 동일한 동작 순서를 따랐다는 사실은 에이전트가 인터페이스를 능동적으로 탐색한다는 점을 명확히 보여준다. 실행 간 액션 시그니처(action signature)를 비교한 결과 — 도구 호출·UI 동작의 순서 목록을 정규화해 비교한 결과 — 최종 결과가 옳더라도 동작 순서는 대부분 달랐다.

비용 구조 — 어디서 발생하는가

에이전트 실행은 회당 $15–30으로 전통 테스트보다 비싸다. search discovery 플로의 토큰 사용량을 분석한 결과는 실행 방식의 영향이 모델 선택보다 크다는 점을 보여준다.

| 실행 방식 | 모델 | 토큰 사용량 | 평균 턴 수 |

|----------|------|------------|------------|

| MCP | Opus 4.6 | 3.8M | 40 |

| MCP | Sonnet 4.5 | 3.5M | 40 |

| MCP | Haiku 4.5 | 5.7M | 60 |

| CLI | Opus 4.6 | 6M | 85 |

| Code Gen | Opus 4.6 | 7M | 70 |

Haiku가 Sonnet보다 토큰을 더 썼지만, 모든 MCP 방식이 CLI·Code Gen보다 적게 사용했다. 어떤 모델을 쓰는지보다 어떻게 실행하는지가 비용을 좌우한다. Claude Code는 매 턴마다 전체 시스템 프롬프트와 대화 이력을 재전송하는 무상태(stateless) API 기반이기 때문에 턴 수가 비용을 직접 결정한다. CLI는 각 브라우저 상호작용이 동작·대기·스냅샷·읽기·요소 조회 등 여러 명령으로 분할되어 평균 85턴에 달했고, MCP는 단일 왕복으로 상호작용과 상태 반환을 결합해 40턴으로 유지했다.

컨텍스트의 대부분은 이미 본 내용의 재전송이다. MCP·CLI에서는 Playwright MCP가 반환하는 접근성 트리(accessibility tree) 스냅샷이 매 턴 누적되고, Code Gen은 재시도마다 전체 오류 트레이스·단언 실패·DOM 상태가 누적된다. 절감 방법으로 프롬프트 캐싱, 컨텍스트 압축(compaction), 스냅샷 빈도 축소가 제시됐다.

인프라가 신뢰성을 좌우한다

실험의 가장 중요한 교훈 중 하나는 실행 환경의 안정성이 모델 자체보다 결과에 큰 영향을 준다는 점이다. MCP와 CLI의 실패율 차이(0–12% vs 12–20%) 대부분은 인증·내비게이션 문제(로그인 오류, 타임아웃, 세션 불안정)에서 발생했다. Playwright MCP는 구조화된 브라우저 프리미티브와 에이전트 도구 호출 워크플로의 긴밀한 통합을 제공하고, CLI는 에이전트와 브라우저 사이에 추가 계층을 도입한다. 병렬화에서도 MCP가 우위 — 동시 실행이 쉽고, CLI는 대부분 순차 실행에 그친다.

신뢰성·속도·비용은 모델뿐 아니라 실행 환경의 안정성과 설계에 좌우된다. 에이전틱 테스트를 도입할 때 모델 선택만큼 실행 인프라 선택이 중요하다.

테스트 피라미드 속 새로운 계층

에이전틱 테스팅은 기존 테스트를 대체하지 않는다. 결정론적 E2E 테스트는 CI에서 빠르고 반복 가능한 회귀 검사에 여전히 가장 적합하다 — 사람이 작성하거나 AI가 생성하든, 낮은 운영 비용으로 특정 UI 여정을 강제할 수 있다. 에이전틱 테스팅은 그 위에 새로운 역량을 추가한다. 정해진 스크립트를 실행하는 대신 목표에서 출발해 UI를 관찰하고, 현재 상태를 추론하며, 원하는 결과에 도달할 방법을 결정한다.

적합한 활용처는 복잡한 UI 동작 탐색, 불안정한(flaky) 워크플로 디버깅, 프로덕션 버그 재현이다. 시스템 관점에서 에이전틱 테스팅은 E2E와 같은 수준에서 실제 사용자 워크플로를 UI로 검증하며, 차이는 워크플로의 실행 방식에 있다. 2026년 6월 기준으로 가장 효과적인 테스트 전략은 둘을 결합한 형태 — 결정론적 테스트가 CI의 안정적 토대를 제공하고, 에이전틱 테스팅이 피라미드 최상단에서 탐색·디버깅·복잡 동작 검증을 담당한다.

정리

에이전틱 테스팅은 200건 실행, 5개 구성, 두 플로 실험을 통해 신뢰성·속도·비용·적응성의 트레이드오프를 정량적으로 확인했다. 회당 $15–30, 10분 이상이라는 비용과 0–48%의 실패율 범위는 고빈도 CI 실행보다는 표적 디버깅과 탐색적 테스트에 더 적합함을 시사한다. 모델보다 실행 환경이 결과를 좌우한다는 발견 — MCP 0–12% vs CLI 12–20% — 은 인프라 선택의 중요성을 강조한다. 향후 모델과 도구의 개선으로 비용이 낮아지고 안정성이 높아진다면 테스트 피라미드 최상단의 핵심 계층으로 자리 잡을 가능성이 높다.