AI 토큰 가격 전쟁의 뒤편 - HBM 병목, 탈HBM 추론칩과 한국 GPU의 공백
2026년 6월 MiniMax와 DeepSeek가 전세계를 대상으로 토큰 가격 전쟁을 열었다
2026년 6월 1일 공개된 MiniMax M3가 프런티어급 코딩, 1M 컨텍스트와 네이티브 멀티모달을 내세우면서 512K 이하 입력의 표준 가격을 100만 토큰당 0.60달러로 제시했고, 이미 낮은 가격을 구축한 DeepSeek가 그 아래에서 원가 경쟁의 기준선을 눌렀다. 7월 10일 MiniMax 가격표에는 50% 상시 할인 적용가인 입력 0.30달러, 출력 1.20달러, 캐시 읽기 0.06달러가 함께 표시돼 있다. 두 회사는 “미국 프런티어 모델과 비슷한 작업을 얼마나 싸게 처리하느냐”를 전면에 내세우며 토큰 가격 전쟁을 시작했다.
6월 중순 공개된 공식 가중치를 기준으로 보면 MiniMax M3는 약 428B 규모이며 토큰마다 약 23B가 활성화된다. 128개의 전문가 중 4개를 호출하는 MoE와 MiniMax Sparse Attention을 결합해 거대한 모델의 지식 범위를 유지하면서 토큰당 계산량을 줄인다. 이는 약 230B·10B 활성 규모였던 M2 계열보다 전체 모델과 토큰당 계산량이 모두 커진 구조다. 저렴한 가격은 단순히 모델이 작아서가 아니라 이 구조적 계산 절감에 중국의 낮은 전기료와 인건비, 시장점유율을 확보하려는 전략 가격이 더해진 결과다.
다만 MoE가 줄이는 것은 계산량이지 메모리 용량이 아니다. 토큰마다 호출되는 전문가가 달라지므로 빠른 서빙을 하려면 약 428B 전체 가중치를 메모리에 올려둬야 한다. 토큰당 활성 파라미터는 약 23B여도 모델을 보관하는 메모리는 428B 규모로 필요하다.
LLM 추론은 토큰을 생성할 때마다 거대한 가중치를 반복해서 읽는 작업이다. 이 때문에 이론적인 FLOPs보다 메모리 대역폭이 실제 속도를 좌우한다. DDR보다 수십 배 빠르고 초당 테라바이트급 데이터를 전달하는 HBM이 대형 모델 서빙의 표준이 된 이유다.
MoE는 여기서 역설을 만든다. 계산은 줄지만 비싼 HBM을 많이 차지하고, 연산 유닛은 상대적으로 놀 수 있다. 사업자는 배치를 키워 GPU 사용률을 높이거나 전문가를 여러 GPU에 분산한다. CPU DDR이나 SSD로 일부 전문가를 오프로딩하면 HBM 사용량은 줄일 수 있지만 속도를 크게 희생한다. 여러 GPU에 나누는 expert parallelism도 HBM 문제를 없애는 것이 아니라 여러 장의 HBM에 비용을 분산하는 방식이다.
DeepSeek는 다른 층에서 원가를 낮춘다. V2·V3에서 도입한 MLA, 즉 Multi-head Latent Attention으로 KV 캐시를 크게 압축해 긴 대화와 반복 토큰을 저장하고 읽는 비용을 줄였다. 2026년 4월 공개한 V4에서는 토큰 단위 압축과 DSA, 즉 DeepSeek Sparse Attention을 더해 1M 컨텍스트를 기본값으로 만들었다. 압축한 캐시를 상대적으로 싼 저장장치와 결합하고, 엔비디아 GPU 대신 화웨이 Ascend를 사용하려는 시도와 중국의 저렴한 전력을 더한다. MiniMax가 MoE와 MSA로 토큰당 계산량을 줄인다면, DeepSeek는 MLA에서 시작해 DSA까지 확장하며 추론이 누적할수록 커지는 메모리와 연산 비용을 함께 누르는 셈이다.
7월 10일 DeepSeek 공식 가격표는 이 원가 공세를 더 선명하게 보여준다. V4-Flash는 100만 토큰당 입력 0.14달러, 출력 0.28달러이며 캐시 적중 입력은 0.0028달러다. V4-Pro도 입력 0.435달러, 출력 0.87달러, 캐시 적중 입력 0.003625달러다.
7월 10일 기준 주요 저가 모델과 미국 프런티어 모델의 공식 표준 가격을 100만 토큰당 달러로 한자리에 놓으면 가격 전쟁의 폭이 분명해진다. 중국 모델 가격은 앞의 공식 표를, Kimi·GLM-5.2·Gemini 3.1 Flash-Lite와 Gemini 3.1 Pro·Opus 4.8·Fable 5·GPT-5.5·5.6 Sol·Grok 4.5·Meta Muse Spark 1.1은 각 공식 가격표를 따랐다.
| 모델 | 회사·국가 | 입력 | 출력 | 캐시 읽기 | 성격 |
|---|---|---|---|---|---|
| DeepSeek V4-Flash | DeepSeek·중국 | 0.14 | 0.28 | 0.0028 | 최저가 대량 처리 |
| DeepSeek V4-Pro | DeepSeek·중국 | 0.435 | 0.87 | 0.003625 | 고성능 1M 컨텍스트 |
| MiniMax M3 (상시 할인) | MiniMax·중국 | 0.30 | 1.20 | 0.06 | 프런티어급 코딩·멀티모달 |
| Gemini 3.1 Flash-Lite | Google·미국 | 0.25 | 1.50 | 0.025 | 고효율 대량 에이전트 |
| Kimi K2.6 | MoonShot·중국 | 0.95 | 4.00 | 0.16 | 1T MoE 코딩·에이전트 |
| Meta Muse Spark 1.1 | Meta·미국 | 1.25 | 4.25 | 미공개 | 미국인데 중국 저가군 가격 |
| GLM-5.2 | Z.ai·중국 | 1.40 | 4.40 | 0.26 | Opus급 고성능 저가 |
| Grok 4.5 | xAI·미국 | 2.00 | 6.00 | 0.50 | Opus급 지향 저가 |
| Gemini 3.1 Pro | Google·미국 | 2.00 | 12.00 | 0.20 | 구글 프런티어·멀티모달 |
| Claude Opus 4.8 | Anthropic·미국 | 5.00 | 25.00 | 0.50 | 미국 프런티어 중 최저가 |
| GPT-5.5 | OpenAI·미국 | 5.00 | 30.00 | 0.50 | 미국 프런티어 |
| GPT-5.6 Sol | OpenAI·미국 | 5.00 | 30.00 | 0.50 | 미국 신규 플래그십 |
| Claude Fable 5 | Anthropic·미국 | 10.00 | 50.00 | 1.00 | 미국 최상위 프리미엄 |
출력 토큰 단가만 비교해도 DeepSeek V4-Flash는 Opus 4.8의 약 90분의 1, 가장 비싼 중국 모델인 GLM-5.2조차 약 6분의 1 수준이다. 흥미로운 건 저가 공세가 중국만의 것이 아니라는 점이다. Google의 Gemini 3.1 Flash-Lite(출력 1.50달러)는 중국 저가군과 겹치고, xAI Grok 4.5(출력 6달러)와 2026년 7월 9일 나온 Meta Muse Spark 1.1(출력 4.25달러)도 미국 모델이면서 중국 저가군에 가까운 가격을 매겼다. 반대로 미국 프런티어 안에서도 단가는 갈려서, Gemini 3.1 Pro는 출력 12달러로 Opus 4.8과 GPT-5.5·GPT-5.6 Sol보다 낮은 프런티어 가격대를 만들고, Anthropic의 최상위 Fable 5는 출력 50달러로 프리미엄 천장을 형성한다. 다만 이 표는 정가 기준이며(Muse 캐시가는 미공개), 실제 과제 비용은 모델이 같은 일을 처리하는 데 소모하는 토큰 수에 따라 달라진다.
직접 실측한 코딩·에이전트 작업에서는 가격 전쟁이 세 구간으로 나타났다. Kimi는 미국 프런티어 API의 약 10분의 1, DeepSeek는 약 100분의 1에 가까운 비용으로 같은 유형의 작업을 처리했다. Z.ai의 GLM 5.2는 일부 고난도 과제에서 Claude Opus급 결과를 내면서도 API 비용은 Opus의 약 20% 수준이었다. 이는 저가 모델이 단순 작업만 가져가는 것이 아니라 고성능 모델이 지키던 프리미엄 구간까지 가격 압박이 번졌다는 의미다. 여기서 Opus급은 모든 벤치마크에서 완전히 동등하다는 뜻이 아니라, 직접 수행한 해당 과제의 결과 품질을 기준으로 한 평가다.
따라서 중국 모델의 낮은 가격을 일시적인 덤핑으로만 보면 안 된다. MiniMax의 MoE·MSA, DeepSeek의 MLA·DSA와 KV 캐시 압축, Z.ai의 고성능 저가 전략은 서로 다른 기술로 같은 목표를 겨냥한다. 알고리즘, 가속기, 캐싱, 하네스와 전기료를 함께 최적화해 토큰 원가의 바닥을 낮추는 것이다. 2026년 6월 시작된 경쟁은 모델 성능표의 전쟁이 아니라 프런티어급 지능의 단가를 누가 가장 빠르게 낮추느냐는 가격 전쟁이다.
중국 AI의 숨은 제약은 모델이 아니라 HBM 공급이다
MiniMax, DeepSeek, MoonShot(Kimi), Z.ai(GLM) 같은 중국 모델 회사가 좋은 모델을 만드는 것과 중국 데이터센터가 그 모델을 대규모로 서비스하는 것은 다른 문제다. 모델 회사가 HBM을 직접 생산하지 않기 때문에 실제 병목은 HBM을 탑재한 가속기를 얼마나 확보했느냐에서 발생한다.
중국의 확보 경로는 세 갈래다.
- 규제 전 또는 우회 경로로 확보한 엔비디아 H100, H800, H20과 그 안의 한국·미국산 HBM
- 화웨이 Ascend 가속기와 비축한 외국산 HBM의 결합
- CXMT가 이제 막 시작한 중국산 HBM
SMIC가 화웨이 Ascend용 다이를 연간 100만 개 이상 생산할 능력이 있어도, 외국산 비축 HBM이 없으면 실제 완제품은 연 30만 개 미만으로 제한될 수 있다. CXMT가 2026년 말 HBM3 또는 HBM3E 양산을 목표로 하더라도 2026년 약 200만 스택, Ascend 910C 기준 25만에서 30만 개분에 그친다면 외국산 비축분을 빠르게 대체하기 어렵다.
자체 생산 여력이 있어도 HBM에서 병목이 걸리는 구조는 다음과 같이 요약된다.
| 확보 경로 | 자체 생산 여력 | 실질 완제품 제약 |
|---|---|---|
| 화웨이 Ascend 다이 (SMIC) | 연 100만 개 이상 | 비축 HBM 없으면 연 30만 개 미만 |
| 국산 HBM (CXMT) | 2026년 약 200만 스택 | Ascend 910C 기준 25만~30만 개분 |
다이를 아무리 찍어내도 HBM 스택이 그만큼 따라오지 못하면 완제품 가속기 수는 HBM에 묶인다.
이 구조는 AI 수출통제의 초점이 GPU 다이만이 아니라 HBM과 첨단 패키징까지 확장되는 이유를 설명한다. 중국은 모델 알고리즘과 파운드리만 확보해도 독립할 수 없다. 대형 모델을 빠르게 서빙하려면 메모리와 패키징까지 함께 자립해야 한다.
메모리 병목의 해법은 HBM 확장과 SRAM·저가 DRAM 재설계로 갈라졌다
현재 AI 추론칩의 메모리 전략은 크게 두 갈래에서 여러 갈래로 분화하고 있다. 엔비디아·AMD와 퓨리오사·리벨리온의 고성능 제품은 대용량 HBM을 가속기 옆에 붙인다. 하이퍼엑셀과 리벨리온 ATOM은 LPDDR·GDDR로 비용을 낮추고, Cerebras와 Groq(일론머스크의 xAI Grok과 다르다)는 상대적으로 용량이 작은 SRAM을 칩 안에 넣어 대역폭과 지연 문제를 구조적으로 우회한다.
대형 서비스는 HBM으로 처리량을 확보하고, Cerebras·Groq는 온칩 SRAM으로 지연을 줄이며, Tenstorrent·온디바이스 계열은 GDDR·LPDDR 같은 저가 DRAM으로 원가와 배치 위치를 바꾼다.
HBM은 용량과 대역폭의 균형이 좋지만 비싸고 공급망이 복잡하다. SRAM은 HBM보다 훨씬 빠르고 지연이 낮지만, 같은 면적에 저장할 수 있는 용량이 작고 제조비가 높다. 어느 방식이 절대적으로 우월한 것이 아니라 모델 크기, 지연시간, 처리량, 전력, 소프트웨어와 고객의 사용 방식에 따라 답이 달라진다.
DRAM·HBM·SRAM은 속도와 용량의 자리가 다르다
먼저 이걸 이해하기 위해 메모리를 잠깐 이해하고 가자.
| 메모리 | 구조와 지연 | 장점 | AI에서의 주된 역할 |
|---|---|---|---|
| DRAM | 1트랜지스터+1캐패시터, 약 50~100ns | 싸고 GB급 대용량 구성에 유리 | PC·서버 범용 메모리와 모델 저장 |
| HBM | DRAM 다이를 수직 적층, 초당 TB급 대역폭 | 대용량과 높은 처리량의 균형 | 학습과 다수 사용자 동시 추론 |
| SRAM | 비트당 6트랜지스터, 약 1~5ns | DRAM보다 약 100배 빠른 초저지연 | 온칩 캐시와 단일 토큰의 빠른 추론 |
한 명이 로컬에서 모델을 사용할 때는 사람이 읽는 속도보다 빠르게 토큰을 생성하면 되므로 LPDDR나 통합 DRAM으로도 충분할 수 있다. 반면 수많은 사용자에게 동시에 응답하면 사용자별 KV 캐시가 폭증하고, 메모리에서 읽어오는 총량이 커져 HBM의 대역폭이 필요해진다. HBM은 단순히 “가장 빠른 메모리”가 아니라 고동시성 서비스를 위한 처리량 부품이다. SRAM은 훨씬 빠르지만 용량과 면적의 제약 때문에 저지연에 최적화된다.
Cerebras는 GPU가 아니라 웨이퍼 전체를 하나의 AI 프로세서로 만든다
Cerebras Systems는 엄밀히 말해 GPU 회사가 아니다. 웨이퍼 스케일 엔진 WSE라는 독자적인 AI 전용 프로세서를 만든다. 엔비디아는 비교적 작은 GPU를 수천에서 수만 개 연결해 거대한 클러스터를 만들지만, Cerebras는 실리콘 웨이퍼 전체를 하나의 칩으로 사용해 칩 사이 통신을 줄인다.
접시만 한 실리콘 웨이퍼 한 장 전체가 하나의 AI 프로세서인 Cerebras WSE-3. 일반 GPU 수십 장을 이어 붙이는 대신 칩 사이 통신 자체를 없앤다. (출처: ServeTheHome)
최신 WSE-3와 CS-3 시스템에 관한 조사 메모의 주요 수치는 다음과 같다.
| 항목 | Cerebras WSE-3·CS-3 |
|---|---|
| 트랜지스터 | 약 4조 개 |
| 온칩 메모리 | SRAM 약 44GB |
| 핵심 장점 | 페타바이트/초급 온칩 대역폭과 초저지연 |
| 시스템 형태 | 웨이퍼 스케일 칩을 탑재한 전용 시스템 |
| 대형 모델 확장 | 여러 시스템 분산과 외장 MemoryX 스트리밍 필요 |
Cerebras는 WSE-3가 엔비디아 B200급 칩보다 28배의 페타플롭스와 2,625배의 온칩 SRAM을 제공하고, CS-3가 DGX B200보다 최대 21배 빠르면서 비용과 전력은 약 3분의 1이라고 주장한다. Llama 4 Maverick 400B 추론에서 초당 2,500개 이상의 토큰을 기록해 Blackwell B200의 약 1,038토큰보다 두 배 이상 빠르다는 자체 측정도 제시했다. (다만 이런 수치는 워크로드, 배치, 정밀도와 시스템 구성에 따라 달라지므로 동일 조건의 독립 검증과 구분해서 봐야 한다.)
Cerebras의 강점은 절대적인 저지연이다. 사용자가 한 번 질문했을 때 답이 쏟아지는 속도가 중요하거나, 코딩 에이전트처럼 여러 단계를 연속 실행해야 하는 서비스에 유리하다. OpenAI가 GPT-5.3-Codex-Spark 계열 코딩 모델을 Cerebras 인프라에서 운영하는 게 대표적인 사례다.
하지만 웨이퍼 전체를 사용해도 SRAM은 약 44GB다. HBM4를 수백GB 탑재하는 엔비디아와 AMD 가속기에 비하면 용량이 작다. SRAM은 속도는 매우 빠르지만 면적 효율이 낮기 때문이다. 거대한 모델은 여러 WSE에 나누거나 MemoryX에서 가중치를 스트리밍해야 한다. 웨이퍼 스케일 제조의 수율과 전용 시스템 의존성, CUDA보다 작은 소프트웨어 생태계가 위험요인이다.
Groq는 작은 SRAM과 결정론적 실행으로 지연을 줄인다
Groq의 1세대 LPU는 Cerebras보다 더 극단적이었다. 칩에 약 230MB의 SRAM만 넣고 HBM, DRAM, GDDR 같은 외장 메모리에 의존하지 않았다. 컴파일 시점에 데이터 이동과 실행 순서를 결정하는 구조로 초당 수백 토큰의 낮고 일정한 지연을 만들었다.
HBM·DRAM 같은 외장 메모리 없이 칩 안 SRAM에만 의존하는 Groq LPU. 그 대신 칩 한 장이 담는 모델이 작아 대형 모델은 수백 장을 묶어야 한다. (출처: TechPowerUp)
그 대가로 칩 한 장의 모델 수용량이 매우 작다. 대형 모델을 제공하려면 수백 장의 LPU를 묶어야 한다. Cerebras가 특정 인기 모델을 매우 빠른 속도와 긴 컨텍스트로 제공하는 데 강하다면, Groq는 다양한 오픈 모델을 OpenAI 호환 API로 쉽고 빠르게 대량 호출하는 서비스에 강점을 보여왔다.
2026년 공개된 NVIDIA Groq 3 LPU는 온칩 SRAM을 칩당 500MB로 늘렸다. LPX 랙은 256개 LPU를 묶어 SRAM 128GB, 온칩 대역폭 40PB/s, 칩 간 대역폭 640TB/s를 제공하고, 보조 DRAM도 패브릭과 호스트 CPU를 통해 연결한다. 최신 구조는 “외장 메모리를 전혀 쓰지 않는 단독 칩”이라기보다 GPU가 긴 컨텍스트의 프리필과 어텐션을 맡고 LPU가 지연에 민감한 FFN·MoE 디코드를 맡는 이기종 시스템으로 진화했다.
같은 탈HBM 또는 메모리 재설계 진영에는 HBM 대신 상대적으로 저렴한 GDDR6를 활용하는 Tenstorrent도 있다. Tenstorrent Blackhole 카드는 칩당 최대 32GB GDDR6와 약 512GB/s 대역폭에 온칩 SRAM 210MB를 결합해, 저가 메모리의 부족한 대역폭을 분산 SRAM으로 보완하려 한다. 이들은 모두 엔비디아와 똑같은 GPU를 만드는 대신 메모리 이동 방식을 바꾸려 한다는 공통점이 있다.
메모리 방식별로 대표 추론칩을 정리하면 같은 추론 가속기라도 전략이 뚜렷이 갈린다.
| 제품 | 메모리 방식 | 용량 | 대역폭 | 전략 |
|---|---|---|---|---|
| 엔비디아·AMD 가속기 | HBM3E·HBM4 | 수백 GB급 | 초당 TB급 | 대용량과 고처리량의 균형, 대형 모델 서빙 표준 |
| Cerebras WSE-3 | 온칩 SRAM | 약 44GB | 초당 페타바이트급 온칩 | 웨이퍼 스케일로 칩 간 통신 제거, 절대 저지연 |
| NVIDIA Groq 3 LPU | 온칩 SRAM | 칩당 500MB (LPX 랙 256개 = 128GB) | 온칩 40PB/s, 칩 간 640TB/s | 결정론적 실행으로 지연 최소화, GPU와 이기종 결합 |
| Tenstorrent Blackhole | GDDR6 | 칩당 최대 32GB | 약 512GB/s | 분산 SRAM과 저가 GDDR로 칩당 원가 절감 |
같은 탈HBM 진영이라도 Cerebras·Groq는 SRAM으로 지연을, Tenstorrent는 GDDR6로 원가를 겨냥한다는 점에서 노리는 축이 서로 다르다.
온디바이스 AI가 늘어도 데이터센터 HBM은 바로 대체되지 않는다
엔비디아의 DGX Spark는 이 차이를 보여준다. GB10 Grace Blackwell 슈퍼칩에 20코어 Arm CPU, CUDA 코어 6,144개, 128GB LPDDR5X 통합 메모리와 FP4 기준 최대 1페타플롭 성능을 담고, 단일 장치에서 최대 200B급 모델 실행을 지원한다. 중요한 점은 개인용 데스크톱 장치에 비싼 HBM 대신 273GB/s 대역폭의 LPDDR5X를 사용한다는 것이다.
손바닥만 한 크기에 128GB 통합 메모리로 200B급 모델을 돌리는 NVIDIA DGX Spark. 값비싼 HBM 대신 LPDDR5X를 써서 개인 책상에 올려놓을 수 있다. (출처: NVIDIA/CRG)
애플의 M3 Ultra 맥 스튜디오도 512GB 통합 메모리로 DeepSeek 671B급 모델을 약 17~18토큰/초로 실행한 사례가 있다. 모델이 메모리에 들어간다는 사실과 빠르게 서비스할 수 있다는 사실은 다르다. 컨텍스트가 길어지면 대역폭과 KV 캐시 때문에 속도가 급격히 떨어지고, 이런 구성은 노트북이나 일반 PC 폼팩터로 확장하기 어렵다.
HBM 없이 통합·저가 메모리로 대형 모델을 담는 대표 장치를 정리하면 다음과 같다.
| 장치 | 메모리 | 대역폭 | 실행 가능 규모 | 성격 |
|---|---|---|---|---|
| NVIDIA DGX Spark | 128GB LPDDR5X 통합 | 273GB/s | 최대 200B급 | 개인 데스크톱 개발기 |
| Apple M3 Ultra 맥 스튜디오 | 512GB 통합 메모리 | 약 819GB/s | DeepSeek 671B급 (약 17~18 토큰/초) | 워크스테이션 |
| 테슬라 AI5 | GDDR 계열 | 상대적 저대역폭 | 차량·엣지 추론 | 저가 대량 엣지 |
세 장치 모두 대역폭이 데이터센터 HBM의 초당 TB급에 못 미쳐, 모델이 메모리에 담기더라도 고동시성 서비스로 확장하기는 어렵다.
따라서 온디바이스 AI로 분산되는 것은 프론티어급 고급 추론 전체라기보다 자동화의 실행 지점이다. 송장 처리, 메일 초안, ERP 대조, 창고 작업처럼 70B 안팎의 모델로 가능한 업무는 RTX, 애플 실리콘에서 기밀을 외부로 보내지 않고 처리할 수 있다. 그러나 월드모델 학습, 합성 데이터 생성과 고난도 추론은 계속 데이터센터의 GPU와 HBM을 요구한다.
컴퓨팅은 데이터센터 학습 → 기업의 수천 대 엣지 장치에 배포 → 개인으로 확산되는 구조가 된다. 엔비디아는 데이터센터에서는 HBM과 CUDA, 현장에서는 RTX·Jetson과 같은 CUDA를 사용해 양끝을 묶으려 한다. 테슬라 AI5가 HBM 대신 GDDR 계열의 저가 메모리를 택한 것처럼 엣지에서는 SRAM, GDDR과 LPDDR가 중요해지지만, 고동시성 데이터센터의 HBM 수요와는 공존할 가능성이 높다.
엔비디아는 빠르게 추론 시장에 진입하기 위해 Groq 을 우회 합병했다
엔비디아와 Groq가 2025년 12월 24일 체결한 계약은 법인 인수가 아니라 비독점 기술 라이선스다. 창업자 조너선 로스와 주요 인력이 엔비디아로 이동했고 거래 가치가 약 200억 달러로 보도돼 사실상 핵심 기술과 인력을 흡수한 성격은 강하다. 그러나 Groq 법인과 GroqCloud는 별도 회사로 계속 운영된다.
엔비디아는 라이선스 기술을 Vera Rubin 플랫폼의 Groq 3 LPX로 통합했다. 삼성전자는 Groq 3 LPU 생산 파트너로 확인됐고, LPX는 Rubin GPU와 LPU를 NVIDIA Dynamo로 묶어 프리필·어텐션과 FFN·MoE 디코드를 서로 다른 연산기에 배분한다. 탈HBM 칩을 GPU와 경쟁시키기보다 HBM GPU 옆의 저지연 엔진으로 편입한 것이다.
엔비디아 입장에서는 자신이 상대적으로 약했던 초저지연 추론을 흡수해 DGX Cloud와 NIM 생태계까지 확장할 수 있다. 동시에 Groq는 2026년 6월 22일 6억5,000만 달러를 새로 조달해 13개 데이터센터와 GroqCloud 확장에 투자하고, 2027년 말 200MW 규모를 목표로 제시했다.
한국 NPU는 HBM을 활용하되 메모리 경로를 다변화한다
한국 NPU를 모두 HBM 진영으로 묶는 것도 정확하지 않다. 퓨리오사 RNGD는 HBM3를 사용하고 리벨리온 Rebel100은 삼성 HBM3E 144GB를 탑재한다. 반면 리벨리온의 1세대 ATOM은 GDDR6, 하이퍼엑셀 Bertha 500은 LPDDR5X를 사용한다. 한국은 세계 최상위 HBM 공급국이라는 장점을 활용하면서도 제품의 목표 가격과 모델 크기에 따라 HBM·GDDR·LPDDR를 나눠 쓰는 방향으로 가고 있다.
중앙의 대형 다이가 퓨리오사 RNGD. HBM3를 붙여 추론 전용으로 설계한 국산 NPU로, LG AI연구원이 EXAONE 추론에 도입하기로 한 첫 대형 레퍼런스다. (출처: ServeTheHome)
이들의 전략은 범용 학습 GPU를 정면으로 복제하는 것이 아니다. 추론에 필요한 연산만 남기고 전력과 총소유비용을 낮춰 “같은 서비스를 더 적은 전력과 비용으로” 제공하는 것이다.
2026년 7월 10일 기준 서버급 AI 칩 생태계는 다음과 같다.
| 기업 | 제품·메모리 | 제조 | 양산·출시 상황 | 대기업 진영 |
|---|---|---|---|---|
| 퓨리오사AI | RNGD·HBM3 48GB | TSMC 5nm | 1월 4,000장 인도 후 상용 출하, 6월 Solar-Open·K-EXAONE·MoE 지원 SDK 공개, 7월 유럽 배치 | LG |
| 리벨리온 | Rebel100·HBM3E 144GB | 삼성 4nm | RebelServer·Rack·POD 공급, 6월 기가컴퓨팅 서버 공동개발과 스퀴즈비츠 인수 | SK·삼성 |
| 하이퍼엑셀 | Bertha 500·LPDDR5X | 삼성 4nm | 첫 샘플 검증 단계, 2027년 초 양산 목표 | 네이버 |
Cerebras와 퓨리오사는 속도와 효율이라는 서로 다른 극단을 택했다
두 회사는 엔비디아 독점에 도전한다는 점만 같을 뿐 설계 철학과 고객이 다르다. 조사 메모에서 퓨리오사의 누적 투자액은 약 2억4,600만 달러로 정리돼 Cerebras와 자본 규모에서도 큰 차이가 난다.
| 구분 | Cerebras | 퓨리오사AI |
|---|---|---|
| 설립 | 2016년, 미국 | 2017년, 한국 |
| 핵심 제품 | WSE-3·CS-3 | RNGD |
| 메모리 | 온칩 SRAM 44GB | HBM3, 대역폭 1.5TB/s 이상 |
| 제조 | 웨이퍼 전체를 하나의 칩으로 사용 | TSMC 5nm와 2.5D 패키징 |
| 핵심 가치 | 절대 속도와 초저지연 | 전력효율과 TCO |
| 주요 시장 | 하이퍼스케일러와 대형 클라우드 | 엔터프라이즈와 온프레미스 데이터센터 |
| 기업가치 | 약 81억 달러 | 약 7억3,500만 달러 |
퓨리오사는 RNGD의 소비전력을 약 180W급으로 낮추고, 엔비디아 GPU 대비 두 배 이상의 전력효율을 목표로 한다. LG AI연구원이 장기간 테스트한 뒤 EXAONE 추론에 RNGD를 도입하기로 한 것은 첫 대형 레퍼런스다.
다만 퓨리오사의 경쟁력을 전성비 하나로 과장해서는 안 된다. 하이퍼스케일러의 총비용에서 전력비는 통상 칩 구매비보다 작고, CUDA를 버리면서 생기는 코드 마이그레이션과 엔지니어 재교육 비용이 전기료 절감분보다 클 수 있다. 절대 성능, 소프트웨어 생태계와 고객 레퍼런스가 여전히 우선이다.
그럼에도 전성비가 단순한 전기료 절감에 그치지 않는 지점이 있다. 지역 전력망 때문에 데이터센터에 더 많은 칩을 넣지 못할 때, 같은 전력으로 두 배의 추론을 처리하는 능력은 서비스 용량 자체를 두 배로 만든다. 학습은 일정 기간 끝나지만 추론은 서비스가 살아 있는 동안 계속되고, 에이전트가 여러 번 모델을 호출할수록 전력효율은 마진과 직결된다. 탄소배출과 데이터센터 규제까지 강화되면 전성비는 보조적 장점에서 실제 도입 조건으로 바뀔 수 있다.
미/중/한은 어떻게 대응하고 있나?
미국은 자본과 풀스택으로 가격 전쟁을 버틴다
중국이 알고리즘과 낮은 전력비로 토큰 원가를 끌어내린다면, 미국은 프런티어 모델·클라우드·GPU·자본시장을 하나의 생태계로 묶어 장기전을 버틴다. OpenAI·Anthropic·xAI가 모델을 개발하고, Microsoft·Amazon·Google·Oracle이 데이터센터와 클라우드 크레딧을 제공하며, NVIDIA와 TSMC가 연산기와 생산 기반을 공급한다. 개별 모델의 API 가격은 비싸더라도 모델, 컴퓨팅, 개발도구와 고객 접점을 한 체계 안에 묶어 쉽게 이탈하지 못하게 만드는 전략이다.
이 구조의 약점은 막대한 현금 소모다. 프런티어 모델 기업은 학습과 추론에 계속 적자를 내고, 하이퍼스케일러는 미래의 AI 수요를 믿고 데이터센터를 먼저 짓는다. NVIDIA와 메모리 기업이 칩을 팔아 번 현금을 다시 모델 기업에 투자하면, 모델 기업은 그 돈으로 GPU와 HBM을 다시 산다. 매출은 늘지만 같은 자금이 공급망 안에서 순환하는 구조라 외부 유동성이 마르면 모델 기업, 클라우드와 반도체 주문이 함께 흔들릴 수 있다.
스페이스X 상장은 이제 계획이 아니라 완료된 자금조달이다. xAI는 2026년 2월 2일 SpaceX에 편입됐고, SpaceX는 6월 12일 SPCX로 거래를 시작해 6월 15일 IPO를 마쳤다. 공모가는 135달러였으며 초과배정까지 포함해 6억3,888만8,888주를 발행해 총 862억5,000만 달러를 조달했다. 회사는 공모자금의 용도에 AI 컴퓨팅 인프라 확장을 명시했다. 스타링크의 현금흐름과 우주사업의 기업가치가 xAI의 모델·데이터센터·가속기 투자로 직접 연결되는 자본 구조가 실제로 만들어진 것이다.
미국 AI 기업의 자금 순환, 하이퍼스케일러의 현금흐름, 스페이스X 상장이 xAI의 군자금으로 연결되는 구조와 닷컴 버블 비교는 스페이스X 역대 최대 상장, 닷컴 버블이 반복될 것인가?에서 자세히 다뤘다.
중국 AI의 가격 전쟁은 홍콩 자본시장으로 번진다
중국 AI를 토큰 원가와 HBM 공급만으로 보면 절반만 보는 것이다. MiniMax, DeepSeek와 Z.ai가 미국 프런티어 모델의 가격을 압박하려면 장기간 적자를 견디며 모델, 가속기와 데이터센터에 계속 투자해야 한다. 결국 기술 경쟁은 누가 더 낮은 토큰 가격을 만드느냐에서, 그 가격 전쟁을 버틸 자본을 어디서 조달하느냐로 확장된다.
이 저가 공세는 미국 프런티어 랩의 핵심 수익원인 기업 API를 직접 겨냥한다. 개인 구독은 사용량이 많은 고객에게 원가보다 낮게 제공되는 유입 상품에 가깝고, 실제 수익은 기업이 정가로 구매하는 API에서 나온다. 그러나 기업이 비싼 모델은 고난도 작업에만 쓰고 나머지는 DeepSeek, Kimi와 GLM 같은 저가 모델로 라우팅하기 시작하면, 미국 모델은 성능 우위만으로 높은 가격을 유지하기 어려워진다.
중국의 클로드인 GLM 5.2를 만든 Z.ai는 칭화대 지식공학연구소에서 분사한 즈푸AI의 해외 브랜드다. 옛 법인명은 베이징 즈푸화장 테크놀로지였고 상장 법인명은 Knowledge Atlas Technology Joint Stock Company Limited다. 거래소에서는 Knowledge Atlas Technology, 해외 서비스에서는 Z.ai, 중국에서는 즈푸라는 이름을 사용한다. Z.ai에는 알리바바, 텐센트, 메이투안, 앤트그룹, 샤오미와 홍샨이 투자했다. 2025년 미국 상무부의 Entity List에 포함됐지만, 2026년 1월 8일 홍콩거래소에 02513.HK로 상장하면서 주요 순수 LLM 기업 가운데 가장 먼저 공개시장에 진입했다.
딥시크보다 일찍 가성비 전쟁의 포문을 연 MiniMax도 같은 자본조달 경로에 들어섰다. Z.ai가 2026년 1월 8일 02513.HK로 먼저 거래를 시작했고 MiniMax는 하루 뒤인 1월 9일 00100.HK로 상장했다. MiniMax 공모가는 165홍콩달러였다. Z.ai가 최초 상장 순수 LLM 기업이라는 타이틀을 가져갔지만, 현재는 두 회사 모두 홍콩 공개시장에서 자금을 조달할 수 있다. 이는 OpenAI와 Anthropic이 여전히 비상장인 동안 홍콩이 중국 AI 기업에 별도의 공개시장 자금줄을 열었다는 의미가 있다.
DeepSeek는 다른 길을 간다. 헤지펀드 High-Flyer에서 출발했고 창업자 량원펑이 실질 지배력을 가진 비상장사다. 공개된 공식 자료만으로는 중국 공산당의 직접 자본지원까지 단정할 근거가 부족하다. 확인되는 자금 기반은 High-Flyer가 자체 구축한 Fire-Flyer 연산 인프라와 모회사 자본이며, 상장된 Z.ai·MiniMax와 달리 외부 주식시장에서 대규모 자금을 조달하는 구조는 아직 없다.
투자 접근성도 여기서 갈린다. 알리바바는 뉴욕과 홍콩, Z.ai와 MiniMax는 홍콩에서 직접 거래할 수 있다. 반면 화웨이와 DeepSeek는 비상장사여서 일반 개인이 직접 지분을 살 수 없다.
미국과 중국의 전략을 나란히 놓으면 한국의 위치가 선명해진다. 미국은 프런티어 모델, 범용 GPU, 클라우드와 자본시장을 모두 보유하고, 중국은 저원가 모델과 자체 가속기·홍콩 자본시장을 키우면서 부족한 HBM을 메우려 한다. 한국은 두 나라에 HBM을 공급할 수 있지만 정작 자체 학습용 GPU와 CUDA급 소프트웨어 생태계가 없다. 그래서 한국의 과제는 메모리를 더 많이 파는 데서 끝나지 않고, HBM을 국산 연산기와 서비스로 연결해 부가가치를 국내에 남기는 것이다.
한국은 HBM 공급국에서 AI 연산 생태계 보유국으로 올라가려 한다
미국처럼 모델·GPU·클라우드·자본시장을 모두 장악하지도 못했고, 중국처럼 낮은 원가의 모델과 자체 가속기를 빠르게 결합하지도 못한 한국이 선택한 길은 단계적 국산화다. 당장 부족한 학습용 GPU는 NVIDIA 제품으로 확보하되, 반복적으로 비용이 발생하는 추론부터 국산 NPU로 바꾸고, 장기적으로 설계·HBM·파운드리·소프트웨어·서비스를 국내에서 연결하려는 전략이다.
현재 한국의 AI 반도체 생태계는 절반만 완성돼 있다. 삼성전자와 SK하이닉스는 세계 최고 수준의 HBM을 만들고 삼성파운드리도 보유하지만, 대형 모델 학습에 사용할 국산 범용 GPU와 CUDA급 소프트웨어 생태계는 없다. 결국 NVIDIA H100·B200을 수입하고 그 안에 한국산 HBM을 다시 넣어 쓰는 구조다. 한국은 핵심 메모리를 공급하면서도 완성된 AI 연산기와 소프트웨어에서 발생하는 더 큰 부가가치를 해외 기업에 넘기고 있다.
이를 바꾸기 위해 모델 기업, NPU 스타트업, 통신·클라우드 기업과 데이터센터가 다음과 같은 진영을 만들고 있다.
| 진영 | 모델·시장 | 추론 하드웨어 | 메모리·제조 | 서비스·데이터센터 | 구조와 핵심 위험 |
|---|---|---|---|---|---|
| LG 풀스택 | K-EXAONE, 국가대표AI·공공·금융 | 퓨리오사AI RNGD | SK하이닉스 HBM3, TSMC 5nm·2.5D 패키징 | LG CNS, LG유플러스 파주 DC | 모델부터 기업 납품까지 직접 통제하며 RNGD 공급 확대와 2027년 DC 완공 일정이 변수 |
| SKT 독자 스택 | A.X K1, 에이닷·통신 서비스 | 리벨리온 Rebel100·ATOM | Rebel100은 삼성 4nm·HBM3E 144GB ATOM은 GDDR6 | SKT, AWS 울산 DC | SK 자본·통신·클라우드와 결합해 정부 선발과 무관하게 독자 수익화 가능 |
| 업스테이지 임차형 | Solar Open, 모두의 AI | 자체 NPU 없이 초기에는 NVIDIA GPU | GPU에 탑재된 외부 HBM, 외부 클라우드 의존 | 네이버 GPUaaS·기존 민간 클라우드 | 자산이 가벼워 빠르게 시작할 수 있지만 GPU 임대료와 인프라 사업자에게 원가 통제권이 있음 |
| 네이버 인프라축 | 모델 경쟁 후퇴, GPUaaS·클라우드 운영 | 하이퍼엑셀 Bertha 연계, 퓨리오사 지분 보유 | Bertha는 삼성 4nm·LPDDR5X, RNGD는 TSMC 5nm·HBM3 | 네이버클라우드, 세종 DC, 해남 지분 26% | 어느 모델이 선발돼도 GPU 임대·센터 운영·지분가치로 수익을 얻는 공급자 위치 |
이 네 진영 아래에는 승패와 무관하게 대부분이 공유하는 수평 기반이 있다.
| 공통 계층 | 핵심 기업·기술 | 생태계에서의 역할 |
|---|---|---|
| 학습 컴퓨팅 | NVIDIA H100·B200과 CUDA | 세 팀 모두 학습 단계에서는 사실상 전적으로 의존 |
| NPU 설계 기반 | 퓨리오사AI·리벨리온·하이퍼엑셀, 세미파이브 | 국산 추론칩 설계와 플랫폼 제공 |
| 고대역폭 메모리 | SK하이닉스·삼성전자 | 국산 NPU와 NVIDIA GPU 양쪽에 HBM 공급 |
| 파운드리·패키징 | TSMC 5nm·CoWoS, 삼성 4nm·첨단 패키징 | 설계된 칩의 양산 수율·납기·원가를 결정 |
| 서비스 운영 | LG CNS·SKT·네이버클라우드·삼성SDS | 모델을 공공·기업·개인 서비스로 판매하고 운영 |
| 물리 인프라 | 파주·울산·세종 DC, 2028년 이후 해남 공용센터 | 추론 규모의 상한과 서비스 개시 시점을 결정 |
첫 번째 준비는 추론용 NPU의 상용화다. 퓨리오사는 RNGD 4,000장을 인도받아 상용 출하를 시작했고, 6월 30일 공개한 SDK 2026.3에서 Solar-Open·K-EXAONE·Qwen3 MoE 지원을 명시했다. 7월 7일에는 포르투갈 리스본의 Equinix 데이터센터 배치를 발표해 국내 레퍼런스를 해외 유통으로 연결하기 시작했다. 리벨리온은 이미 RebelServer·RebelRack·RebelPOD를 공급하고 있으며, 6월 기가컴퓨팅과 서버 공동개발에 들어가고 추론 최적화 기업 스퀴즈비츠를 인수했다. 하이퍼엑셀 Bertha 500은 첫 실리콘 검증 단계이며 양산 목표는 2027년 초다.
두 번째 준비는 생산망을 실제로 검증하는 일이다. 퓨리오사 RNGD는 TSMC 5nm와 HBM3를 사용하지만 리벨리온 Rebel100은 삼성 4nm, 삼성 HBM3E와 첨단 패키징을 결합한다. 하이퍼엑셀 Bertha 500도 삼성 4nm에서 첫 실리콘을 받았다. 국내에는 이제 “삼성파운드리로 만들어야 한다”는 계획만 있는 것이 아니라 삼성 생산망을 쓴 실제 NPU 두 종류가 검증 단계에 들어와 있다. 앞으로 봐야 할 것은 선언이 아니라 수율, 납기, 서버 단위 안정성과 고객 물량이다.
세 번째 준비는 칩을 실제 서비스로 바꾸는 소프트웨어와 운영 경험이다. 가속기 설계만으로는 부족하며 칩 생산 → 메모리·패키징 통합 → 카드·서버·랙 통합 → 컴파일러와 모델 최적화 → 장애 대응 → 데이터센터 배치가 모두 이어져야 한다. LG CNS, SKT와 네이버클라우드가 모델 기업과 NPU 기업 사이에 들어가는 이유도 칩을 기업 서비스와 반복 매출로 전환할 운영 계층이 필요하기 때문이다.
따라서 한국의 목표는 NVIDIA GPU를 당장 완전히 대체하는 것이 아니다. 먼저 세계 1위 HBM을 국산 NPU와 서비스에 연결해 추론 원가와 고객 데이터를 국내에 남기고, 그 수요를 바탕으로 파운드리와 소프트웨어를 키워야 한다. 한국은 아직 AI 연산 자립국이 아니라 HBM 공급국과 연산 생태계 보유국 사이의 전환기에 있다.
문제는 이 전환을 이끌 첫 대규모 수요를 누가 만드느냐다. 국산 NPU는 충분한 사용자와 트래픽이 쌓여야 추론 원가와 안정성을 검증하고 소프트웨어도 개선할 수 있다. 그런 점에서 수백만 명이 사용할 국가대표AI와 “모두의 AI”는 단순한 모델 선발 사업이 아니다. 어느 모델이 뽑히느냐에 따라 NPU, HBM, 클라우드와 데이터센터까지 함께 움직이는 한국 추론 생태계의 첫 대규모 실전이다.
다음 글: 국가대표AI 경쟁의 진짜 전장은 모델이 아니라 추론 인프라다.