메모리는 AI 칩 부품 비용의 거의 3분의 2까지 커졌다 — 핵심 정리

메모리는 AI 칩 부품 비용의 거의 3분의 2까지 커졌다

고대역폭 메모리(HBM)가 AI 칩 부품을 구성하는 비용에서 차지하는 비중이 급격히 커지고 있다. Nvidia, AMD, Google, Amazon이 설계한 AI 칩 기준, HBM이 전체 부품 비용에서 차지하는 비중은 2024년 1분기 52%에서 2025년 4분기 63%로 상승했다. 같은 기간 전체 AI 칩 부품 지출은 약 220억 달러에서 520억 달러로 증가했으며, 그 증가분 중 약 200억 달러를 HBM이 차지했다.

HBM 비용 상승의 핵심 데이터

Epoch AI의 분석에 따르면, 네 설계사의 HBM 지출은 2024년 약 120억 달러에서 2025년 320억 달러로 증가했다. 이는 다른 모든 부품보다 전년 대비 증가 속도가 빨랐다. 전체 AI 칩 부품 지출이 약 220억 달러에서 520억 달러로 증가한 반면, HBM만 약 200억 달러 증가분을 담당한 것이다.

반면 로직 다이 비중은 같은 기간 약 13%로 거의 유지됐고, 첨단 패키징은 19%에서 15%로, 보조 부품은 15%에서 9%로 낮아졌다. 즉, AI 칩의 비용 구조에서 메모리를 제외한 다른 요소들은 상대적으로 비중이 줄어든 셈이다.

2026년 전망과 비용 압력

2026년에는 메모리 공급 부족과 가격 상승이 지속되면서 비용 압력이 더 커질 전망이다. Microsoft는 2026 회계연도 1,900억 달러 설비투자 전망에 부품 가격 상승분 약 250억 달러를 포함했다고 밝혔다. Meta도 2026년 설비투자 범위를 100억 달러 상향했으며, 더 높은 부품 가격을 이유로 제시했다.

DRAM prices are expected to rise 60% in 2025 and another 30-40% in 2026, with HBM demand growing 70% year-over-year as AI devours wafer capacity.

AI 칩 부품 분류와 비용 구조

분석 대상이 된 AI 칩의 부품은 네 가지 범주로 분류된다.

첫 번째는 메모리다. HBM 스택이 포함되며, HBM3와 HBM3e가 대상이다. 두 번째는 로직으로, 3에서 5나노미터 첨단 공정 로직 다이가 해당한다. 세 번째는 패키징으로, TSMC의 CoWoS 첨단 패키징이 포함된다. 마지막으로 네 번째는 보조 부품으로, 기판, 전력 공급, 기타 비로직 비메모리 입력 요소가 포함된다.

각 칩의 부품 비용에 분기별 추정 생산량을 곱해 범주별 총 부품 지출을 계산한 결과, 메모리 비중이 지속적으로 높아지고 있다.

분기별 부품 비중 변화

2024년 1분기의 경우 메모리 비중이 52%였으며, 해당 부품 비용만 변할 때 48에서 56%, 모든 부품이 극단값으로 변할 때 42에서 62% 범위였다. 로직 비중은 14%였으며, 해당 부품 비용만 변할 때 12에서 17%, 모든 부품이 극단값으로 변할 때 10에서 20% 범위였다. 패키징 비중은 19%였으며, 해당 부품 비용만 변할 때 14에서 24%, 모든 부품이 극단값으로 변할 때 12에서 27% 범위였다. 보조 부품 비중은 15%였으며, 해당 부품 비용만 변할 때 13에서 18%, 모든 부품이 극단값으로 변할 때 11에서 21% 범위였다.

2025년 4분기로 보면 메모리 비중이 63%로 확대됐다. 해당 부품 비용만 변할 때 60에서 67%, 모든 부품이 극단값으로 변할 때 54에서 73% 범위였다. 로직 비중은 13%로 소폭 하락했다. 해당 부품 비용만 변할 때 10에서 16%, 모든 부품이 극단값으로 변할 때 9에서 19% 범위였다. 패키징 비중은 15%로 낮아졌고, 보조 부품 비중은 10%로 급감했다.

메모리 비용이에 미치는 영향

DRAM 공급이 수요를 따라잡기까지 시간이 필요하다는 지적이 있다. 현재 최첨단 칩의 희소성 때문에 붙은 Nvidia 이익률까지 고려하면, 비용 절감 여지는 훨씬 더 큰 편이다.

다만 메모리 업체들이 수요에 맞춰 공급을 크게 늘리지 않을 것이라는 우려도 있다. 이 업계는 시장을 공급 부족 상태로 유지하는 성격이 있어서, 뒤따르는 공급 과잉이 업체들을 망가뜨린다. 대신 모바일과 개인용 컴퓨팅처럼 수익성이 낮은 영역의 공급이 더 수익성 높은 쪽으로 재배치될 뿐이다.

、PC 취미층에게는 현재 상황이 매우 어렵다.RAM 관련 단가 상승 때문에 가난한 사람들은 이미 저가 휴대폰에서도 밀려나고 있다. 집에서 조립하는 PC 시장이 압박을 받고 있으며, 이러한 고통은 다른 시장으로도 번질 수 있다.

향후

HBM은 메모리 공급 부족과 가격 상승이 이어지면서 2026년에 더 큰 비용 비중을 차지할 가능성이 있다. Microsoft와 Meta의 설비투자 계획에도 부품 가격 상승이 반영되고 있어, AI 개발자들은 메모리 비용 증가에 대응하는 전략을 세워야 할이다.

AI 추론과 학습은 기술 혁신이 전혀 없어도 하드웨어 비용을 약 3배, 전체 비용을 약 2배 낮출 수 있는 경로가 있다. DRAM 공급이 수요를 따라잡기만 하면 되며, 제조 확장이든 현재 생산 속도로 수요 급증분을 채우는 것이든 시간이 필요할 뿐이다.

대체 부동소수점 형식 채택이 늘어날지 궁금하다. IEEE 부동소수점은 낮은 비트 폭, 특히 16비트 이하에서 성능이 낮다. posit 같은 형식은 16비트나 8비트에서 훨씬 낫아서, 값 하나당 32비트 대신 16비트로 학습할 수 있다면 의미가 크다.

---

핵심 요약

• HBM이 AI 칩 부품 비용에서 차지하는 비중: 2024년 1분기 52% → 2025년 4분기 63%

• HBM 지출: 2024년 120억 달러 → 2025년 320억 달러

• 전체 AI 칩 부품 지출: 약 220억 달러 → 520억 달러

• 2026년에도 메모리 비용 압력 지속 예상

---

📚 출처

• https://news.hada.io/topic?id=29837