bigset - 세상의 모든 데이터를 가지고 있다면? 한 문장으로 만드는 라이브 데이터셋

자연어 한 문장으로 살아 움직이는 웹에서 구조화된 데이터셋을 만들고, 설정한 주기마다 자동으로 갱신해 주는 오픈소스 도구가 공개됐다. tinyfish-io에서 내놓은 bigset은 "현재 엔지니어를 채용 중인 YC 기업과 투자 단계, 위치, 공개 채용 수" 같은 한 줄 프롬프트를 입력하면 AI가 스키마를 추론하고, 자율 에이전트가 라이브 웹을 조사·교차검증·중복 제거한 뒤 표로 돌려주는 구조다. CSV/XLSX로 내보낼 수 있고, 30분·6시간·12시간·일간·주간 단위로 자동 재실행해 데이터 신선도를 유지한다. 긱뉴스를 통해 화제가 된 이 도구를 정밀하게 살펴본다.

bigset이 해결하는 문제

사람이든 AI 에이전트든 웹과의 모든 상호작용은 결국 데이터로 귀결된다. 가격, 기업, 채용, 연구, 가용성, 재고 같은 정보는 여러 페이지에 흩어져 있다. 기존 스크래핑 프레임워크, 검색 API, LeadGen 도구는 각자의 영역에서 잘 작동하지만, 카테고리를 가로지르는 데이터나 그 어디에도 정의되지 않은 형태의 데이터는 결국 매번 검색·추출·스키마 설계·중복 제거·검증·크론 작업을 손으로 통합해야 했다. bigset은 그 간극을 메운다. 입력은 한 문장, 출력은 검증된 구조화 표, 신선도는 자율 갱신. 핵심 가치는 "어떤 데이터셋이든, 어떤 소스든, 항상 신선하게"라는 한 줄로 요약된다.

동작 방식: 한 문장 → 스키마 추론 → 병렬 조사

작업 흐름은 여섯 단계로 압축된다. (1) 데이터셋을 평이한 영어 한 문장으로 묘사하고, (2) AI가 컬럼명·타입·기본 키·웹에서 어디를 찾아야 할지 스키마를 자동 추론하며, (3) 오케스트레이터 에이전트가 웹 검색으로 엔티티를 발굴한다. (4) 서브 에이전트가 엔티티 하나씩 맡아 병렬로 분산되어 실제 페이지를 가져오고 검증한 뒤 행을 삽입한다. (5) UI에서 표를 탐색하고 CSV/XLSX로 내보낸다. (6) 갱신 주기를 설정하면 에이전트가 정해진 시각에 자동으로 재실행된다. 데이터셋 생성에는 보통 2~5분이 걸린다. 에이전트가 실제로 웹에서 검색·수집·검증을 진행하기 때문이며, 즉각적이지는 않지만 결과물은 실데이터다.

설치와 시작: 3분 셋업

사전 요구사항은 Node.js 22+와 npm뿐이다. Docker 없이도 로컬에서 바로 실행된다.

npm install --global @adamexu/bigset
bigset

위 한 줄이면 bigset CLI가 현재 릴리스를 내려받아 Convex, 백엔드, 프론트엔드, 로컬 credential bridge를 시작하고 앱 URL을 출력한다. 브라우저에서 http://127.0.0.1:3500 을 열면 끝이다. 첫 실행 시 캐시 파일이 ~/.bigset에 저장되고, 그 다음부터는 시작이 수 초면으로 단축된다. 전역 설치 없이 일회성으로 돌릴 때는 npx @adamexu/bigset을 쓰면 된다. 로컬에서 유용한 옵션은 --force(캐시된 릴리스 강제 재다운로드), --app-port 4500 --backend-port 4501(포트 변경), --home ~/.bigset-dev(별도 캐시 디렉터리) 정도다.

첫 실행: API 키 2개 연결

처음 실행하면 셋업 화면이 뜨고 두 서비스의 키를 입력한다.

| 서비스 | 역할 | 키 발급처 |

|--------|------|-----------|

| TinyFish | 웹 검색 + 페이지 가져오기 | tinyfish.ai/api-keys |

| OpenRouter | 스키마 추론 + 에이전트 LLM 호출 | openrouter.ai/settings/keys |

로컬 API 키는 OS 키체인에 저장된다. OpenRouter는 종량제로 시작 비용은 $5~10이면 충분하다. 클라우드 로그인 계정은 캘린더 월당 2,500 row operations의 프리 티어를 받는다(UTC 1일 기준 리셋). 로컬 모드는 클라우드 쿼터를 우회하고 TinyFish/OpenRouter 계정을 직접 사용한다.

CLI로 데이터셋 다루기

bigset이 떠 있고 셋업이 끝났다면 터미널에서 직접 데이터셋을 만들고 내보낼 수 있다.

bigset create "fintech startups in the bay area" --rows 10 --wait --csv fintech.csv

위 한 줄로 데이터셋 생성 → 채우기(populate) → 완료 대기 → CSV 내보내기까지 자동으로 이어진다. 그 밖에 bigset list, bigset status , bigset rows --json, bigset export --csv out.csv, bigset populate , bigset stop 같은 명령이 준비돼 있다. --rows (최대 행 수), --wait(완료까지 대기), --csv

(CSV 내보내기), --skip-populate(생성만), --cadence manual|30m|6h|12h|daily|weekly(자동 갱신 주기), --backend-port 같은 플래그로 정밀하게 제어한다. Codex나 Claude Code 같은 에이전트도 같은 명령을 그대로 쓸 수 있어, bigset create "AI infrastructure startups hiring backend engineers" --rows 30 --wait --csv ai-infra-hiring.csv → CSV 검사 → 요약/변환 같은 워크플로를 곧장 자동화한다.

개발자용: 소스에서 빌드와 make dev

bigset 자체를 수정해 보고 싶다면 make dev 경로를 따른다. Node.js 22+, Docker, Make가 필요하고, git clone 후 cd bigset 상태에서 make dev 한 줄이면 충분하다. make dev는 (1) .env 검증, (2) 의존성 설치, (3) 로컬 키체인 브리지 시작, (4) Postgres/Convex 기동, (5) Convex health 폴링(최대 120초), (6) admin key 자동 생성·검증, (7) BIGSET_LOCAL_MODE=1 설정, (8) Convex 스키마 배포, (9) 프론트엔드·백엔드·Mastra 기동, (10) 로그 스트리밍을 순서대로 처리한다. Convex 대시보드 :6791, Mastra Studio :4111이 함께 뜨고, BigSet 앱은 :3500이다. 평소엔 make dev(또는 복구), make down(정지, 데이터 보존), make clean(데이터 삭제) 세 명령이면 충분하다.

기술 스택

| 영역 | 사용 기술 |

|------|-----------|

| 프론트엔드 | Next.js 16, React 19, Tailwind 4 |

| 백엔드 | Fastify, TypeScript (에이전트 러너) |

| 인증 | 로컬(개발) / Clerk(클라우드) |

| 데이터베이스 | Convex (self-hosted) |

| 데이터 수집 | TinyFish API (Search, Fetch, Browser) |

| AI 오케스트레이션 | Mastra 워크플로 + Vercel AI SDK + OpenRouter → Claude Sonnet |

| 테이블 뷰 | TanStack Table + react-window 가상화 |

| 내보내기 | CSV 내장 + XLSX (SheetJS, 동적 임포트) |

| 분석 | PostHog (이벤트·세션 리플레이·에러 추적, 선택) |

알아둘 점: 한계와 로드맵

bigset은 여전히 실험 단계다. 스키마 추론이 늘 완벽하지 않고, 토픽마다 잘 되는 정도가 다르다. 로그인 뒤에 있거나 유료벽 뒤에 있는 데이터는 현재로선 다룰 수 없고, 공개 웹 데이터에 가장 잘 동작한다. 데이터셋은 SQL 쿼리가 아니라 다운로드(CSV/XLSX) 형태로 제공된다. SQL 쿼리 레이어는 로드맵에 올라와 있다. 로드맵 전반은 TinyFish Browser + Agent 통합(JS-heavy·SPA 대응), 에이전트 네이티브 API(에이전트가 데이터셋을 프로그래매틱하게 생성·질의·소비), SQL 쿼리 레이어, 셀 단위 출처 추적(provenance), Healer 에이전트(깨진/오래된 행 자동 감지와 수정), 증분 업데이트(변경분만 새로 고침) 순으로 진행된다.

정리

bigset의 본질은 "데이터 수집 파이프라인의 제품화"다. 평이한 영어 한 문장이 들어오면 스키마가 추론되고, 에이전트가 병렬로 웹을 조사·검증해 행을 채우며, 자동 갱신으로 신선도가 유지된다. 오픈소스(AGPL-3.0)로 공개돼 있어 로컬에서 직접 돌릴 수 있고, CLI 한 줄로 에이전트 워크플로에 그대로 이식할 수 있다. 실험적이라는 점과 공개 데이터에 한정된다는 점은 분명한 제약이지만, 그 안에서 동작하는 범위는 이미 "스카우터 + LeadGen + 검증"을 한 자리에 모은 수준이다. 다음 단계는 Healer와 증분 업데이트의 안정화, 그리고 SQL 쿼리 레이어의 등장이다. 그때 가서 다시 들여다보면 이 도구의 위치가 더 또렷해질 것이다.