OpenAI·Broadcom 첫 자체 추론 칩 Jalapeño 공개 — 아키텍처와 IPO 의미를 한 번에

2026년 6월 현재, OpenAI가 Broadcom과 공동 개발한 첫 자체 추론(inference) 전용 칩 Jalapeño(할라페뇨)가 공식 공개됐다. 두 회사가 함께 만드는 다세대 컴퓨팅 플랫폼의 첫 결과물이며, 설계 착수부터 제조 테이프아웃까지 단 9개월이 걸린 사상 가장 빠른 ASIC 개발 주기로 알려져 있다. 이 글에서는 Jalapeño의 아키텍처, Broadcom과의 역할 분담, 경쟁 구도, IPO 앞둔 OpenAI의 사업적 의미까지 한 번에 정리한다.

OpenAI Jalapeño란 무엇인가

Jalapeño는 LLM 추론에 특화된 가속기로, 기존 AI 워크로드를 위해 만들어진 범용 GPU를 개조한 칩이 아니다. 현대 LLM 추론을 위해 백지 상태(blank-slate)에서 새로 설계한 ASIC이다. Nvidia GPU 대비 유연성은 떨어지지만 비용이 저렴하고, 와트당 성능이 현 최첨단 대비 크게 향상된 수준을 보인다.

• 출시 시기: Broadcom CEO Hock Tan이 OpenAI CEO Sam Altman 및 사장 Greg Brockman에게 샘플 직접 전달, 수요일 공개
• 초기 성능: 일반 AI GPU 대비 약 50% 비용 절감, 와트당 성능은 현 최첨단 대비 크게 우수
• 설계 기간: 설계 착수부터 제조 테이프아웃까지 단 9개월, 고성능 첨단 반도체 사상 가장 빠른 ASIC 개발 주기로 추정
• 공개 이미지: 8개의 HBM 사이트 + 중앙 컴퓨트 다이 구조 확인
• 작동 검증: 엔지니어링 샘플이 양산 목표 주파수·전력에서 GPT-5.3-Codex-Spark 등 ML 워크로드 구동 중

아키텍처 핵심 설계 원칙

OpenAI 하드웨어 프로그램 책임자 Richard Ho는 “프런티어 AI 모델에 가장 중요한 커널, 메모리 이동, 네트워킹, 서빙 패턴을 중심으로 아키텍처를 최적화했다”고 설명했다. 핵심은 데이터 이동을 줄이고 연산·메모리·네트워킹 자원의 균형을 맞춰 실제 활용률을 이론적 최대 성능에 근접하게 만드는 것이다.

| 설계 영역 | Jalapeño 접근 방식 | 일반 GPU 대비 효과 |

|----------|-------------------|-------------------|

| 데이터 이동 | 칩 단 통합·연결 최적화 | 메모리 병목 해소 |

| 컴퓨트 다이 | 추론 워크로드 특화 | 불필요 회로 제거로 효율 ↑ |

| HBM 배치 | 8개 사이트로 대역폭 극대화 | 추론 시 토큰 처리량 ↑ |

| 네트워킹 | Broadcom Tomahawk 실리콘 통합 | 대규모 랙 간 통신 효율 ↑ |

상세 기술 보고서는 향후 몇 달 내 공개 예정이며, 1세대 ASIC임에도 와트당 성능이 현 최첨단을 상당히 앞선다는 평가가 업계에서 나온다.

Broadcom·Tomahawk·TSMC의 실리콘 구현

Jalapeño는 단일 회사 프로젝트가 아니다. 칩 설계는 OpenAI, 칩 구현과 네트워킹은 Broadcom, 보드·랙·시스템 통합은 Celestica가 담당한다. 특히 Broadcom의 Tomahawk 네트워킹 실리콘이 대규모 양산을 지원하며, 9개월 테이프아웃은 OpenAI 자체 모델이 설계·최적화 과정을 가속했기에 가능했다는 평가가 나온다.

Brockman은 “모델이 개발을 가속한 정도가 놀라울 정도였다”며, 사용자에게 제공되는 동일한 모델이 향후 모델 구동용 인프라 개선에도 기여할 것이라고 강조했다. 즉 AI가 엔지니어의 더 빠른 칩 설계를 돕고, 이것이 업계 전반의 컴퓨팅 비용 절감과 첨단 AI 접근성 확대로 이어지는 선순환 구조가 만들어진다.

경쟁 구도와 풀스택 전략

OpenAI는 프런티어 모델 개발과 제품 구축을 넘어 그 아래 인프라까지 직접 설계한다. 칩 아키텍처, 커널, 메모리 시스템, 네트워킹, 스케줄링, 배포 시스템, 제품 경험을 모두 아우르는 풀스택 전략이다. 이를 통해 Google(TPU), Amazon(Trainium), Microsoft(Azure Maia 100)처럼 자체 실리콘을 갖춘 풀스택 AI 사업자 대열에 합류했다.

| 사업자 | 자체 추론 ASIC | 파트너 | 발표 시점 |

|--------|---------------|--------|----------|

| Google | TPU (7세대) | Broadcom, TSMC | 2010년대 초 |

| Amazon | Trainium / Inferentia | Annapurna Labs | 2018~ |

| Microsoft | Azure Maia 100 | 자체 | 2023 |

| OpenAI | Jalapeño | Broadcom | 2026년 6월 |

“누구도 Nvidia에 종속되길 원치 않는다”(Quilter Cheviot 기술 리서치 총괄 Ben Barringer)는 말처럼, OpenAI는 이미 Nvidia 최대 고객 중 하나이면서도 AMD Instinct MI450 시리즈, Cerebras 등과도 공급 계약을 체결해 칩 공급선을 다변화하고 있다.

사업적 의미 — IPO 앞둔 수익성 입증

Jalapeño 공개는 단순 기술 발표가 아니다. AI 데이터센터의 핵심 부품 공급으로 세계 최고 가치 기업에 오른 Nvidia의 그림자에서, OpenAI가 자체 실리콘을 꺼내 들었다는 상징이다. AI 인프라 시장의 수익 잠재력을 보여주려는 의도가 강하다.

• IPO 압박: 1조 달러 규모 IPO를 앞둔 OpenAI의 수익성 입증 필요
• 추론 비용 절감: 막대한 학습 비용 회수와 수익성 입증의 열쇠
• Broadcom 주가: 2026년 들어 상승, 2022년 말 대비 약 7배 수준으로 협력 수혜 반영
• 파트너 다변화: AMD, Cerebras 등 추가 공급 계약으로 Nvidia 종속 탈피
• 6개 고객사 수요: 2027~2028년에도 동일하거나 더 높을 것 (Hock Tan)

2026년 말부터 기가와트 규모 배치

Jalapeño는 2026년 말 초기 배치를 목표로, 이후 수년간 확장될 다세대 컴퓨팅 플랫폼의 첫 단계다. 작년 OpenAI와 Broadcom이 발표한 10기가와트 규모 컴퓨팅용 맞춤 칩 개발 계획의 첫 결과물이다.

• 초기 배포: 2026년 말 Microsoft 등 파트너와 기가와트 규모 데이터센터 배치
• 프로토타입: 2026년 말 소규모 프로토타입 후 점진 확장
• 다세대 플랫폼: 1세대 Jalapeño 이후 추가 세대 계획
• 고객사: Microsoft 포함 6개사가 “채울 수 없는” 수요

Hock Tan은 “컴퓨팅을 충분히 빨리 확보할 수 없다”(Brockman)고 했고, Tan 자신도 “고객사 수요가 그야말로 채울 수 없는 수준이며 2027~2028년에도 동일하거나 더 높을 것”이라고 언급했다.

HN 의견 핵심 쟁점

공개된 기술 디테일에 대해 Hacker News 개발자들 사이에서는 몇 가지 의문이 제기됐다.

• 9개월 일정의 의미: “RTL 동결부터 테이프아웃까지 9개월이라면 3nm 칩 기준으로 평범하고, 살짝 인상적이지도 않은 일정”
• AI 보조 설계의 진실: “Verilog는 이미 많이 공개되어 있어 AI 도움으로 더 많은 Verilog를 작성해 칩을 설계했을 가능성은 충분. 꼭 혁명적일 필요는 없고 AI 보조 설계가 맞아떨어져 ASIC을 만들 가치가 있었을 수 있음”
• 와트당 성능 “상당히”의 정의: Vera Rubin이 올해 말 대량 출하 예정이고 Blackwell 대비 추론 전력 효율이 10배 높을 것으로 예상되는 시점에서 Jalapeño의 우위 입증 필요
• 타이밍 위험: “Anthropic처럼 모델에 집중해 이긴 뒤 수익성이 생기면 프로젝트를 했어야 했다. 1GW가 있어도 가장 좋은 칩만 설치해야 하는데 Nvidia 칩이 더 좋다면 수십억 달러를 낭비한 셈”

요약

OpenAI의 Jalapeño 공개는 AI 산업의 세 가지 흐름을 동시에 보여준다. 첫째, 모델 기업이 칩까지 직접 설계하는 풀스택 경쟁이 본격화됐다. 둘째, Nvidia 독점에 균열이 생기며 Broadcom이 AI 인프라 실리콘의 핵심 파트너로 부상했다. 셋째, IPO 앞둔 OpenAI의 수익성 확보 압박이 추론 비용 절감 인프라 투자로 직결되고 있다.

2026년 말 Microsoft 등 파트너 데이터센터에 처음 배치될 Jalapeño는, AI 인프라 시장의 판도를 결정하는 첫 번째 시험대가 될 것이다. 첨단 AI의 대중화는 결국 추론 비용을 누가 더 빨리, 더 많이 떨어뜨리느냐의 싸움이며, OpenAI는 이제 그 싸움에 칩까지 들고 나왔다.