Show GN: VLM 기반 테스트 SaaS Windflow — selector 없이 QA 자동화

게임·웹 QA에서 "스토리보드 작성 → 빌드 → 사람이 직접 클릭 → 회귀 확인" 루프에 매달려 본 적이 있다면, 이번 글이 주목할 만합니다. 8년차 게임 클라이언트 개발자가 퇴사 후 첫 출시한 SaaS Windflow는 selector/DOM 기반이 아니라 VLM(비전-언어 모델)이 화면을 보고 LLM이 직접 제어하는 테스트 도구입니다. 본문 1,500자 미만의 짧은 글이지만 기술적 시그널이 강해, 원문 + 분석 + 실전 코드를 한 번에 정리합니다.

1. Windflow가 해결하려는 문제

원문 작성자는 게임업계 QA의 고충을 이렇게 짚습니다.

> 새로운 기능을 개발하거나 버그를 수정하면 스토리보드를 매번 작성하고, 실제 릴리즈에 나가기 전 기존 중요한 기능들이 문제없는지 매번 확인하는 절차가 굉장히 힘들었습니다.

전통적인 셀렉터 기반 자동화(Selenium, Cypress, Playwright)는 다음 한계가 있습니다.

| 한계 | 실제 QA 영향 |

|---|---|

| DOM/selector 의존 | WebGL 게임, Canvas, 네이티브 앱은 selector 부재 |

| 빌드마다 깨짐 | minor UI 변경에도 테스트 코드 수정 필요 |

| 사람이 보는 UX 검증 불가 | 시각적 회귀·시선 분포는 자동화 공백 |

2. Windflow 핵심 기능 3가지

2.1 Autopilot (자연어 기반 화면 제어)

selector/DOM 없이 VLM이 화면을 인식하고 LLM이 다음 액션을 결정합니다. 동일한 코어가 Web/WebGL/Android/iOS에서 재사용되므로, 게임 클라이언트 QA와 웹 QA가 같은 시나리오 언어로 표현됩니다.

2.2 Focus Insights (시선 예측)

실제 사용자의 시선이 어느 영역에 모일지 이미지로 추정합니다. UI/UX 검증에 활용 가능하며, A/B 테스트 전 가설 검증 단계에서 비용을 크게 낮춥니다.

2.3 Persona Builder (가상 페르소나 주입)

Autopilot/Focus Insights에 "20대 여성 게이머", "40대 직장인" 같은 페르소나를 주입해, 시뮬레이션 결과가 어떻게 달라지는지 관찰할 수 있습니다.

3. 셀렉터 기반 vs VLM 기반 비교

# 전통 방식 (Playwright)
page.click("button[data-testid='submit-order']")
page.fill("input[name='coupon']", "SUMMER2026")
assert page.locator(".success-banner").is_visible()

# VLM 기반 (Windflow 컨셉) — 자연어 한 줄
autopilot.run(
    target="https://shop.example.com",
    goal="장바구니에 상품 1개 담고, 쿠폰 적용하고, 결제 페이지로 이동",
    persona={"age": 28, "device": "mobile"},
)

핵심 차이는 테스트 코드가 의도(intent)를 기술한다는 점입니다. 셀렉터 변경·UI 리팩토링에 테스트가 깨지지 않습니다.

4. 실무 적용 시나리오

• 게임 클라이언트 QA: 빌드마다 회귀 시나리오 자동 재생 (selector 없음)
• 이커머스 UX 리서치: 페르소나별 결제 funnel 이탈 지점 시각화
• 모바일 앱 회귀: iOS/Android 동일 시나리오, 디바이스별 분기 확인

5. 한계와 주의점

원문도 인정했듯 "아직 부족한 점이 많아 다듬어야 할 부분이 많습니다." VLM 기반 자동화의 고질적 약점도 함께 고려해야 합니다.

• 결정론 부족: 동일 시나리오라도 LLM 샘플링으로 결과가 미세하게 달라짐 → 회귀 판정 시 tolerance 설정 필요
• 비용: VLM 호출당 토큰 비용 발생 → 장시간 시나리오는 비용 최적화 필수
• 지연시간: VLM 추론 시간으로 액션 간 latency 증가 → 실시간 UX 검증엔 부적합

6. 전망

VLM 기반 화면 인식 + LLM 기반 제어는 2026년 현재 가장 뜨는 QA 자동화 트렌드 중 하나입니다. Windflow처럼 도메인(게임/QA) 특화 페르소나를 결합하면, 기존 셀렉터 기반 도구의 사각지대를 상당 부분 메울 수 있습니다. 관심 있는 분은 windflow.run에서 Basic 플랜 1달 무료 쿠폰을 받아 실서비스 워크플로에 끼워 보는 것이 가장 빠른 검증 방법입니다.

요약

• Windflow = VLM 화면 인식 + LLM 제어로 selector 없이 테스트하는 SaaS
• 3대 기능: Autopilot, Focus Insights, Persona Builder
• 강점: WebGL·모바일·앱 게임 QA에 selector 부재 문제 해소
• 약점: 비용·결정론 부족·지연시간 — tolerance 설계 필요
• 출처: 긱뉴스 Show GN (topic 30971)