▲창신메모리(CXMT, ？？存？)는 2026년 D램 생산능력의 20%를 HBM으로 돌린다는 계획을 갖고 있다.
창신메모리
1) 컴파일러·런타임 — 연산을 융합해 HBM 왕복을 지운다
소프트웨어 스택의 첫 번째 과제는 하드웨어에 도착하기도 전에 데이터 이동 자체를 줄이는 것입니다. AI 연산의 비용은 부동소수점 연산 자체보다 가중치·중간 텐서를 HBM과 온칩 메모리 사이에서 왕복시키는 데서 더 크게 발생합니다. 연산자 융합(operator fusion)은 여러 연산을 하나의 커널로 합쳐 중간 결과를 HBM에 썼다가 다시 읽는 왕복을 생략합니다.
어텐션 연산을 단일 커널로 묶는 플래시어텐션(FlashAttention)이 대표적입니다. 그래프 최적화는 실행 순서를 재배열해 캐시 재사용률을 높이고, 커널 튜닝은 타일 크기·스레드 배치를 특정 칩의 메모리 계층에 맞춰 조정합니다. 이 세 가지는 모두 "같은 계산을 더 적은 메모리 트래픽으로 끝내는" 기술입니다.
이 계층의 경쟁 축은 CUDA 대 CANN인데, 엔비디아의 CUDA는 cuBLAS·cuDNN·NCCL 같은 라이브러리가 15년 이상 다듬어져 개발자가 커널을 직접 쓰지 않아도 최적에 가까운 성능을 얻습니다. 화웨이의 CANN은 어센드 칩용 대응 스택으로, PyTorch 같은 상위 프레임워크와 어센드 하드웨어 사이를 잇습니다. CANN의 융합·그래프 최적화 원리는 CUDA와 같지만 생태계의 축적 연수와 최적화된 연산자 커버리지에서 격차가 있습니다.
이 격차를 메우는 방식이, 딥시크 같은 모델 기업이 자사 모델의 핵심 연산 패턴을 직접 알려주면 CANN은 범용 커버리지가 아니라 특정 모델의 핵심 커널만 집중 튜닝하면 되는 것입니다. 모델 기업과 칩 기업의 공동 설계는 소프트웨어 계층에서 컴파일러 최적화 범위를 좁혀 하드웨어 성능을 끌어올리는 지름길이기도 합니다.
2) 메모리 최적화 — 대역폭 요구를 비트 수만큼 깎는다
두 번째 계층은 메모리에 무엇을 얼마나 올릴 것인가입니다. 생성형 추론에서 대역폭을 잡아먹는 주범은 모델 가중치와 KV 캐시입니다. 디코드 단계는 토큰을 하나 생성할 때마다 가중치 전체와 누적된 KV 캐시를 읽어야 하므로 연산량보다 메모리 대역폭이 병목입니다.
페이지드 어텐션(PagedAttention)은 KV 캐시를 운영체제의 가상 메모리처럼 페이지 단위로 쪼개 관리해 연속 메모리 예약에 따른 낭비를 제거합니다. KV 캐시 압축은 어텐션 키·값 자체를 저랭크 표현으로 바꾸는데, 딥시크의 MLA(Multi-head Latent Attention)가 이 방식으로 캐시 크기를 크게 줄인 구조적 사례입니다. 오프로딩은 사용 빈도가 낮은 가중치·캐시를 HBM에서 DDR이나 스토리지로 내려 보내 고가의 HBM 용량을 절약합니다.
양자화는 이 계층에서 가장 계산이 명확한 기법입니다. FP16 가중치를 FP8로 바꾸면 파라미터당 바이트 수가 절반이 되므로 같은 모델을 같은 토큰 속도로 생성하는 데 필요한 대역폭도 정확히 절반이 됩니다. INT4로 가면 4분의 1입니다. 즉 양자화는 정확도를 일부 포기하는 대가로 대역폭 요구를 산술적으로 나누는 기술인 것입니다.
어센드 950 아키텍처가 저정밀 포맷을 새로 지원해 FP8/MXFP8/HIF8에서 1 PFLOPS, MXFP4에서 2 PFLOPS를 낸다는 사양은 이 소프트웨어 경로를 하드웨어가 정면으로 받아들인 것입니다. MXFP4 연산력이 FP8의 두 배로 설계된 것은, 4비트 양자화 모델을 돌릴수록 대역폭 한계가 완화되는 구간이 넓어진다는 뜻이기도 합니다.
3) 통신 최적화 — MoE일수록 상호연결이 병목이 된다
세 번째 계층은 칩과 칩 사이의 데이터 이동을 다룹니다. 모델이 한 장의 메모리에 들어가지 않으면 가중치를 쪼개 여러 칩에 올려야 하고, 그 쪼개는 방식이 통신량을 결정합니다. 텐서 병렬은 행렬 곱을 칩마다 나누고 층마다 결과를 합치는 올리듀스(all-reduce) 통신을 요구하므로 통신 빈도가 가장 높습니다.
파이프라인 병렬은 층 단위로 칩을 나눠 경계에서 활성값만 넘기므로 통신량은 적지만 버블(유휴 시간)이 생깁니다. 전문가 병렬(MoE 병렬)은 토큰마다 라우터가 선택한 전문가가 있는 칩으로 토큰을 보내고 결과를 회수하는 올투올(all-to-all) 통신이 발생합니다.
딥시크의 모델 구조가 노드 간 대역폭에 민감한 이유가 여기에 있습니다. 딥시크 V3 계열은 수백 개의 세분화된 전문가 중 토큰당 소수만 활성화하는 희소 MoE 구조를 택해 연산량을 줄였지만, 그 대가로 토큰이 배치마다 여러 노드를 오가는 올투올 통신이 필수가 되었습니다. 전문가를 여러 노드에 분산시킬수록 통신은 노드 내부가 아니라 노드 간 링크를 타고, 상호연결 대역폭이 곧 훈련·추론 속도의 상한이 됩니다.
화웨이가 상호연결 대역폭을 2.5배로 올리고 자체 상호연결 기술 링취(灵衢)를 내세우며 아틀라스 950 슈퍼노드를 최대 8,192장까지 묶은 것은 이 통신 병목에 대한 하드웨어적 응답입니다. 슈퍼노드의 상호연결 사양은 스펙표의 숫자가 아니라 다음 모델의 전문가 수·분산 폭을 제한하는 설계 제약인 것이지요.
4) 추론 서빙 — 프리필과 디코드의 성격이 갈라진다
네 번째 계층은 요청 단위의 스케줄링입니다. 연속 배칭(continuous batching)은 요청이 끝날 때마다 새 요청을 배치에 즉시 끼워 넣어 가속기의 유휴를 없앱니다. 스펙큘러티브 디코딩은 작은 초안 모델이 여러 토큰을 미리 생성하고 큰 모델이 한 번의 순방향으로 검증해 대역폭이 걸리는 디코드 패스의 횟수를 줄이는데, 여기에는 핵심인 프리필/디코드 분리가 작용합니다.
프리필과 디코드는 같은 GPU 위에서도 완전히 다른 워크로드입니다. 프리필은 입력 프롬프트 전체를 한 번에 처리하므로 행렬 곱이 크고 연산 집약적이고 메모리 대역폭보다 컴퓨팅 파워가 병목입니다. 디코드는 토큰을 하나씩 생성하면서 매번 가중치와 KV 캐시를 통째로 읽으므로 대역폭 집약적입니다. 둘을 한 칩에서 섞어 돌리면 칩은 두 요구 중 어느 하나에도 최적화되지 않은 절충안이 됩니다. 둘을 분리하면 각 단계에 맞는 하드웨어를 따로 설계할 수 있습니다.
어센드 950 계열의 제품 분기는 이 소프트웨어 단계 분리를 하드웨어로 굳힌 사례입니다. 950PR은 화웨이 자체 HBM인 HiBL 1.0(용량 128GB, 대역폭 1.6TB/s)을 달아 추론 프리필 성능과 추천 업무 성능을 끌어올린 프리필용 제품이고, 950DT는 HiZQ 2.0(용량 144GB, 대역폭 4TB/s)을 달아 디코드 성능·훈련 성능·메모리 용량과 대역폭을 높인 디코드용 제품입니다.
대역폭 1.6TB/s와 4TB/s라는 2.5배 차이는 두 단계의 병목이 다르다는 소프트웨어적 사실을 메모리 사양으로 번역한 것이지요. 950PR은 2026년 1분기, 950DT는 2026년 4분기 출시 예정이며, 딥시크가 네이멍구 데이터센터에 배치하겠다고 공표한 16만 장이 디코드용 950DT라는 점은 딥시크의 장문 추론 서비스에서 병목이 디코드 쪽 대역폭에 있다는 진단과 일치합니다.
소프트웨어가 낮춘 대역폭만큼 자국산 메모리가 버티는 구조
연산자 융합은 HBM 왕복을 줄이고, 양자화는 대역폭 요구를 비트 수만큼 나누고, 병렬화 전략은 통신을 하드웨어가 감당할 수 있는 범위로 맞추고, 프리필/디코드 분리는 각 단계가 요구하는 대역폭을 서로 다른 제품으로 분산합니다. 소프트웨어가 대역폭 요구를 낮출수록 중국은 자국산 메모리로 버틸 수 있는 구간이 넓어집니다. 최첨단 HBM이 없어도 양자화와 캐시 압축으로 요구 대역폭을 절반으로 줄이면 그 절반 사양의 자국산 HBM으로 서비스가 가능하게 됩니다.
딥시크 V4가 이 논리의 교과서입니다. 2026년 4월 공개된 V4는 1.6조 파라미터(활성 49B)의 프로와 284B(활성 13B)의 플래시로 구성되고 둘 다 100만 토큰 컨텍스트를 지원하는데, 핵심은 CSA(압축 희소 어텐션)와 HCA(고압축 어텐션)의 혼합 구조입니다. CSA는 토큰 4개를 KV 항목 1개로 압축하고 인덱서로 상위 일부만 골라 계산하며, HCA는 훨씬 높은 압축률로 전역 의미를 읽습니다.
그 결과 100만 토큰 콘텍스트에서 단일 토큰 추론 연산량이 V3.2의 27% 수준, KV 캐시는 10% 수준으로 내려갔습니다. 아키텍처 진화 자체가 병목을 진단하고 해소하는 논리로 진행됩니다. V2는 MoE와 MLA로 메모리 대역폭 병목을, V3는 극한 MoE로 훈련 규모화를, V4는 CSA·HCA로 장문 콘텍스트의 계산 벽을 넘은 역사의 기록입니다.
생태계 쪽 변화가 더 결정적입니다. V4는 발표와 동시에 화웨이 어센드를 포함한 8개 자국산 AI 칩이 '데이 제로' 호환 검증을 마쳤습니다(캠브리콘(Cambricon, 寒武纪)·하이광(Hygon, 海光信息)·무어쓰레드(Moore Threads, 摩尔线程)·무시(MetaX, 沐曦)·쿤룬신(昆仑芯)·핑터우거(平头哥)·톈수즈신(天数智芯) 등). 과거 수개월씩 걸리던 추격식 적합화 주기가 사라진 것입니다.
딥시크는 어센드 아키텍처 적합화를 위해 40만 개 이상의 연산자를 재작성했다고 전해지며, 화웨이는 CANN 컴파일러와 가상 명령 집합 인터페이스를 개방하고 나머지 소프트웨어를 오픈소스로 푸는 방식으로 응수했습니다. 동시에 하이광의 DCU는 HIP 인터페이스로 CUDA 코드 호환성 95% 이상을 실현했으며, 무어쓰레드의 MUSA는 자동 이식을, 무시의 MXMACA는 주류 프레임워크를 지원합니다. 중국 AI 칩 생태계 전쟁은 '자체 스택 정면 돌파'와 'CUDA 호환 우회'라는 두 전선에서 동시에 벌어지는 중입니다.
시스템 계층에도 같은 논리입니다. 프리필 인스턴스와 디코드 인스턴스를 고정 비율로 묶던 배치를 버리고 각각을 전역 자원 풀로 분리해 요청 단위로 동적 결합하는 구조(대PD 아키텍처)가 중국 대형 서비스에서 운용 중입니다. 프리필 부하가 높으면 프리필 풀만, 디코드 부하가 높으면 디코드 풀만 늘립니다. 어센드950PR과 950DT의 제품 분기가 하드웨어에서 한 일을, 이 구조는 인프라에서 합니다.
메모리 수요의 재편 — 'GPU+HBM' 공식의 해체
'GPU+HBM'은 더 이상 AI 메모리 수요를 설명하는 단일 공식이 아닙니다. 같은 '950'이라는 이름 아래 대역폭이 1.6TB/s와 4TB/s로 2.5배 차이 나는 두 메모리가 붙는다는 사실 자체가, 가속기 한 종에 HBM 한 종을 붙이는 공식이 깨졌음을 보여주는 사례입니다.
훈련 워크로드는 대역폭과 용량을 동시에 최대로 요구하는 유일한 구간으로 남지만, 그 수요는 모델 기업의 수와 기반 모델 경쟁의 강도에 묶여 있어 절대 물량의 성장률이 추론보다 낮습니다. 메모리 공급자 관점에서 훈련 구간은 고단가·고수익이지만 물량 확장의 주 엔진은 아니라는 뜻입니다.
장문 추론은 용량과 KV 캐시 관리가 병목인 구간으로, 대역폭 요구가 프리필과 디코드 사이에서 갈라집니다. 프리필은 입력 토큰을 한꺼번에 처리하는 연산 집약 단계라 상대적으로 낮은 대역폭(1.6TB/s)으로 버틸 수 있고, 디코드는 토큰을 하나씩 생성하며 매번 모델 가중치와 KV 캐시를 읽어야 하는 대역폭 집약 단계라 4TB/s급이 필요합니다.
화웨이가 950PR에 저대역폭 HiBL 1.0을, 950DT에 고대역폭 HiZQ 2.0을 배정한 것은 이 소프트웨어 단계 분리를 메모리 사양으로 옮긴 것입니다. 장문 추론 서비스가 늘수록 '최고 사양 HBM 하나'가 아니라 '대역폭이 다른 두 등급의 HBM'이 시스템당 혼용되고, 프리필 노드에는 중급 대역폭 메모리로도 진입할 수 있는 틈이 생기게 됩니다.
온디바이스 시장의 성장과 메모리 재편
앞으로 더 큰 시장이 될 부분은 온디바이스 분야입니다. 결정 변수는 전력당 성능이며 여기서는 LPDDR 계열이 HBM의 자리를 대신합니다. AI 스마트폰 출하가 2026년 4.7억 대를 넘어서고 침투율이 38%에 이를 것이라는 전망이 있고, AI 웨어러블 시장은 2024년 419억 달러에서 2028년 1207억 달러로 커질 것으로 전망됩니다.
이 디바이스들은 배터리 예산 안에서 추론을 돌려야 하므로 저전력 특화의 LPDDR5X급 메모리와 SoC 내장 NPU의 조합이 표준이 됩니다. 중국 진영에서 로크칩(Rockchip, 瑞芯微)은 2026년 상반기 온디바이스 관련 매출이 전년 동기 대비 40% 이상 늘었고, 0.2~6 TOPS의 AIoT 칩 라인업과 세계 첫 3D 적층 AI 코프로세서 RK182X의 양산에 들어갔습니다. 이 시장의 경쟁 축은 절대 대역폭이 아니라 와트당 토큰 처리량입니다.
엣지 배치 구간, 특히 차량과 산업 현장의 추론은 단가가 지배 변수입니다. 호라이즌 로보틱스(Horizon Robotics, 地平线)는 자국 브랜드 ADAS 시장 점유율 47.7%로 연속 1위이며 27개 완성차 그룹 42개 브랜드에 채택됐고, 블랙세서미(Black Sesame, 黑芝麻智能)는 화산 A2000 계열(7nm, 200~2000 TOPS)로 해외 판매 채널을 확보했습니다.
이 시장의 칩은 GDDR 계열 그래픽 메모리나 성숙 공정 D램으로 요구 대역폭을 충족하는 경우가 많습니다. HBM은 적층·TSV·첨단 패키징 비용 때문에 와트당·달러당 효율이 엣지 예산에 맞지 않고, GDDR7급은 HBM 대비 절대 대역폭은 낮지만 단가와 공급 탄력에서 우위에 있어 차량·로봇 같은 대량 배치 시장의 현실적 선택지입니다.
이들을 메모리 계보로 정리하면 다섯 갈래입니다.
첫째, 훈련과 고급 디코드용 HBM3E·HBM4는 대역폭 극대화 계보로 기술 장벽이 가장 높습니다. 둘째, LPDDR5X는 온디바이스 전력 예산에 최적화된 계보입니다. 셋째, GDDR7은 엣지 배치의 단가-대역폭 균형 계보입니다. 넷째, CXL 확장은 호스트 메모리 풀을 가속기와 공유해 장문 추론의 KV 캐시를 HBM 밖으로 오프로드하는 계보로, '칩 옆 HBM 용량'이라는 제약 자체를 완화합니다.
다섯째, PIM·메모리-연산 통합은 연산을 메모리 내부로 밀어 넣어 데이터 이동 자체를 줄이는 계보로, 로크칩의 3D 적층 코프로세서 시도처럼 온디바이스 쪽에서 먼저 제품화되고 있습니다. 갈라진 자리마다 패키징과 전력 예산이 다르므로, 메모리 기업의 제품 믹스 전략도 이 다섯 축으로 재편될 수밖에 없습니다.
한국 메모리 반도체 제1 수출국이 중국이라는데
화웨이 자체 HBM의 등장은 한국 공급자에게 양면의 사건입니다. 한 면에서 HiBL 1.0과 HiZQ 2.0이 실물 사양(각각 128GB·1.6TB/s, 144GB·4TB/s)과 동시에 공개됐고 950PR이 2026년 1분기 출시되면서 채택이 확정됐다는 것은 중국이 HBM의 '존재' 단계를 넘어 '제품 탑재' 단계에 들어섰음을 의미합니다. 15·5 규획이 HBM3/4의 기술 업그레이드와 규모화 생산을 2030년 목표로 못 박았고, 메모리 자급률이 2020년 5% 미만에서 2026년 35%로 올랐다는 정부 데이터는 이 방향의 지속성을 뒷받침합니다.
다른 면에서 HiBL·HiZQ의 양산 능력·수율·공급량은 여전히 비공개입니다. 딥시크의 어센드950DT 16만 장 배치 계획과 동시에 1년 이상 걸릴 수 있다는 보도 자체가 공급 병목의 존재를 시사하며, 그 병목의 상당 부분은 자체 HBM 수급에 묶여 있습니다. '자체 HBM이 있다'는 사실과 '외부 공급이 불필요해졌다'는 명제 사이에는 수율과 물량이라는 검증되지 않은 공백이 놓여 있으며, 이 조건이 한국에는 기회가 됩니다.
이 기회는 대중 HBM 직수출은 아닙니다. 미 상무부 산업안보국(BIS)의 2024년 12월 2일 규칙은 메모리 대역폭 밀도가 3.3 GB/s/mm² 미만일 때만 예외를 허용하고 현행 HBM 대부분이 이 문턱을 넘으므로, 직판 경로는 이미 닫혀 있습니다. 따라서 아래 네 조건은 ① 중국이 자국산 전환으로 글로벌 수요에서 빠지며 생기는 비중국 물량의 재배분, ② 통제 기준 미만 사양의 범용 서버 메모리, ③ 중국 외 지역의 중국계 고객이라는 세 경로 위에서 작용합니다.
첫째, 고대역폭 디코드용 HBM 구간에서 2026년 4분기 950DT 출시 이후 HiZQ 2.0의 실제 공급량이 발주 물량을 못 따라가는 기간이 열리면, 그 기간 한국 HBM3E 이상급 제품에 수요가 생깁니다. 이 창은 HiZQ 수율 곡선과 창신메모리(CXMT, 长鑫存储)의 HBM 진입 속도에 의해 종결됩니다.
둘째, 프리필용 1.6TB/s급 같은 중대역폭 구간은 자국산 대체의 우선순위가 높은 만큼 한국의 진입 여지가 오히려 좁고, 이 구간에서 기회가 생긴다면 그것은 기술 격차가 아니라 자국산 수율 사고 같은 공급 차질 국면에 한정됩니다.
셋째, 창신메모리의 과창판 상장(2026-07-29, 첫날 +465.82%, 시총 3.28조 위안)으로 확보된 증설 자금이 실제 HBM급 양산으로 전환되는 시점이 확인되기 전까지, 즉 15·5의 '규모화 생산' 문구가 출하 실적으로 증명되기 전까지가 협상력이 남아 있는 기간입니다.
넷째, D램 계약가가 2026년 2분기 전분기 대비 +58~63% 오를 것이라는 전망 아래에서는 중국 수요자도 가격보다 공급 확보를 우선하므로, 장기공급계약의 조건으로 프리미엄을 확보할 수 있는 기회가 열립니다. 네 조건 모두 '언제까지, 어떤 제품군에서, 어떤 사건이 확인되면 닫히는가'를 추적 지표로 삼을 수 있으며, 그 지표는 950DT 인도 실적, HiZQ 공급량, 창신메모리 HBM 양산 공시가 알려줍니다.
중국의 자국산 HBM의 시계도 구체화되었습니다. 창신메모리(CXMT)는 2024년 하반기 4층 HBM2 양산을 시작해 2025년 10월 16nm 공정 HBM3 샘플을 공급했고, 2026년 8층 HBM3 양산과 2027년 12층 HBM3E 양산을 목표로 합니다. 실현되면 한국·미국 3사와의 기술 격차가 2~3년으로 좁혀집니다. 창신은 2026년 D램 생산능력의 20%를 HBM으로 전환해 웨이퍼 기준 월 6만 장을 배정하는 계획도 갖고 있습니다.
그러나 현재의 벽은 수율입니다. 자국산 HBM은 초기 수율 35~40% 수준으로 상용 임계치인 70~80%에 미치지 못한다는 것이 업계의 공통된 관측이며, 창신 HBM3E의 성능이 국제 선두 대비 뒤진다는 평가와 공칭 대역폭이 대량 양산에서 안정될지 미지수라는 지적이 함께 나옵니다. 모건스탠리는 창신의 D램 공정이 삼성·마이크론 대비 약 2세대 뒤처진다고 보면서도 2028년을 분수령으로 지목합니다.
수요 측 지표도 함께 볼 필요가 있습니다. 뱅크오브아메리카는 HBM 시장이 2025년 약 350억 달러에서 2030년 약 2,460억 달러로 연평균 34% 성장하고, AI 가속기 한 대당 탑재 HBM이 187GB에서 464GB로 늘어난다고 추정합니다. 수요가 이 속도로 커지는 동안 자국산 수율이 임계치를 넘지 못하면, 기회는 당분간 유효하게 됩니다.
메모리 반도체를 산업단지의 제조업으로만 보던 시야가 끝나는 지점이 여기입니다. 소프트웨어적 접근이 왜 중요하며, 벽을 거둔 다자간 공동 정의가 어떤 시너지를 일으키는지를 우리는 지금 중국 산업을 통해 보고 있습니다.