2026년 10월 24일 기준, 젠슨 황 엔비디아 CEO는 10월 22일 독일 GTC 베를린 현장에서 CNBC가 중국 CXMT(창신메모리)의 메모리를 쓸 계획이냐고 묻자 “We're open-minded(열린 마음이다)”라고 답했지만, 이것은 구매 발표가 아닙니다. CNBC(10.22) CXMT는 미국 국방부의 ‘중국 군사기업’ 목록(1260H)에 올라 있어 연방 조달에서 제한을 받지만, 상무부 수출통제 명단(Entity List)에는 아직 공표되지 않았습니다. 이 글은 이 발언이 어디까지 의미하는지를 미국 규칙으로 확인합니다. 일부 방송은 이 발언을 “CXMT 채택 가능성”으로 소개했습니다. 아래에서 방송 표현과 CNBC 원문을 대조하고, CXMT가 지금 미국 규칙의 어디에 서 있는지, 엔비디아 같은 미국 기업이 쓰려면 무엇이 걸리는지, CXMT의 신기술 발표가 양산과 얼마나 떨어져 있는지를 공식 문서와 언론 보도를 구분해 정리합니다. 읽기 전 유의사항: 이 글은 공개 자료를 정리한 정보성 해설이며 특정 종목의 매수·매도를 권하지 않고 법률 자문도 아닙니다. 미국 규칙은 바뀔 수 있고, ‘제 해석’으로 표시한 부분은 사실이 아니라 추론입니다. 먼저 젠슨 황은 정확히 무엇을 말했나 황 CEO는 CNBC 아르준 카르파 기자와의 인터뷰에서 CXMT와 협력해 제품을 쓸 계획이냐는 질문을 받고 이렇게 답했습니다. “우리는 열린 마음입니다. 우리는 중국 기업들과 일합니다. 전 세계가 공급망 어딘가에서 중국 기업들과 일합니다.”(“We're open-minded. We work with Chinese companies; just about the whole world works with Chinese companies in the supply chain somewhere.”) 이어 “중국은 기초 인프라 기술이 뛰어...
게시일 | 최종 수정
AI가 답을 만들어 내는 추론(inference) 단계가 커지면서 새로운 문제가 생기고 있습니다. GPU나 TPU가 빨라도 필요한 데이터가 메모리에서 제때 도착하지 않으면 답을 빨리 만들 수 없습니다. 주방의 요리사가 아무리 빨라도 재료가 늦게 나오면 음식이 늦어지는 것과 같습니다.
최근 SK hynix와 Sandisk는 AI 추론용 메모리와 저장장치의 중간 역할을 하는 HBF(High Bandwidth Flash·고대역폭 플래시) 기술 사양을 공개했습니다. Google Cloud도 추론용 TPU에서 메모리 용량과 대역폭을 키우는 방향을 발표했습니다.
추론과 메모리 병목을 쉽게 이해해 보자
추론은 이미 학습한 AI 모델이 질문에 답하거나 이미지를 분류하는 단계입니다. AI가 공부하는 과정이 학습이라면 시험 문제를 보고 답을 꺼내는 과정이 추론입니다.
메모리 병목은 계산 능력은 충분하지만 데이터 이동 속도나 저장 공간이 부족해 전체 시스템이 느려지는 현상입니다. 고속도로의 자동차보다 톨게이트 차선이 부족해 길이 막히는 상황과 비슷합니다.
HBM은 빠르지만 용량과 비용의 균형이 필요하다
HBM(High Bandwidth Memory·고대역폭 메모리)은 AI 칩 가까이에 쌓아 올린 빠른 메모리입니다. 대역폭은 일정 시간에 얼마나 많은 데이터를 옮길 수 있는지를 뜻합니다. 수도관으로 비유하면 대역폭이 넓을수록 같은 시간에 더 많은 물을 보낼 수 있습니다.
HBM은 빠르지만 모든 데이터를 넣기에는 용량·비용·전력 문제가 생깁니다. 자주 쓰는 데이터는 책상 위에 놓는 것이 좋지만 모든 책을 책상 위에 올리면 책상이 넘치는 것과 같습니다.
이 문제는 AI 데이터센터 전력 문제 글과도 연결됩니다. 메모리를 효율적으로 배치하면 같은 전력으로 더 많은 요청을 처리할 가능성이 있습니다.
HBF는 HBM과 SSD 사이의 중간 계층을 노린다
HBF(High Bandwidth Flash·고대역폭 플래시)는 NAND 플래시를 활용해 HBM보다 큰 용량을 확보하면서도 SSD보다 높은 데이터 전송 속도를 목표로 합니다. SK hynix 공식 발표에 따르면 공개 사양은 최대 512GB 용량과 약 0.4TB/s에서 3.0TB/s까지의 대역폭 등급을 포함합니다.
Sandisk와 SK hynix는 2026년 8월 3일 HBF 기술 사양을 OCP(Open Compute Project·개방형 데이터센터 기술 프로젝트)를 통해 공개했다고 발표했습니다. 두 회사는 시스템 인터페이스·패키징·소프트웨어 읽기와 쓰기 지침을 공개했고 Google과 Tenstorrent도 표준화 과정에 참여했다고 설명합니다. Sandisk 공식 발표를 확인할 수 있습니다.
쉽게 말하면 HBF는 책상 위의 빠른 메모리와 창고의 큰 저장장치 사이에 놓는 넓은 보관 선반입니다. 다만 HBF가 곧바로 HBM을 대체한다는 뜻은 아니며, 실제 성능은 제품화와 소프트웨어 최적화에 달려 있습니다.
Google TPU 발표도 메모리 병목의 중요성을 보여 준다
Google Cloud는 2026년 4월 추론과 강화학습용으로 설계한 TPU 8i를 소개했습니다. TPU는 Google이 AI 계산에 맞게 설계한 반도체입니다. Google은 TPU 8i에서 칩 안의 SRAM을 384MB로 세 배 늘리고 HBM을 288GB로 확대했으며, 대화 기록을 보관하는 KV Cache를 칩 안에 더 많이 둘 수 있도록 설계했다고 밝혔습니다.
KV Cache는 AI가 긴 대화를 처리할 때 이미 계산한 정보를 잠시 보관해 같은 계산을 반복하지 않도록 돕는 공간입니다. 학생이 중간 계산을 공책에 적어 두는 것과 같습니다. Google Cloud 공식 발표는 계산 장치뿐 아니라 메모리와 연결 구조를 함께 개선하는 방향을 보여 줍니다.
앞서 발행한 AI 칩 경쟁 글을 함께 보면 GPU와 맞춤형 AI 가속기 경쟁이 메모리 구조와 어떻게 연결되는지 이해하기 쉽습니다.
독자가 다음 AI 메모리 뉴스를 읽을 때 확인할 네 가지
첫째, 용량이 칩 하나인지 메모리 스택인지 서버 전체인지 구분합니다. 둘째, 대역폭과 지연시간을 혼동하지 않습니다. 대역폭은 한 번에 옮길 수 있는 양이고 지연시간은 첫 데이터가 도착하기까지 걸리는 시간입니다. 셋째, 발표된 기술 사양과 실제 판매 제품의 성능을 구분합니다. 넷째, HBM·HBF·SSD가 서로 경쟁만 하는지 각각 다른 역할로 함께 쓰이는지 확인합니다.
결국 AI 메모리 경쟁은 가장 빠른 한 장치를 찾는 싸움이 아니라, 어떤 데이터를 얼마나 오래 보관할지와 전력·비용을 함께 따지는 설계 경쟁입니다.
한줄정리: AI 메모리 경쟁은 가장 빠른 한 장치가 아니라 HBM·HBF·SSD를 데이터 사용 빈도에 맞게 연결하는 설계 경쟁이다.
AI 메모리는 한 종류가 아니라 여러 층의 구조다
AI 서버에는 보통 칩 안의 SRAM, 칩 가까이의 HBM, 시스템 메모리인 DDR·LPDDR, 대용량 SSD가 함께 쓰입니다. 각각 속도·용량·전력·가격이 다르기 때문에 모든 데이터를 가장 빠른 메모리에 넣는 방식은 현실적이지 않습니다. 자주 쓰는 데이터는 책상 위에, 오래 보관할 자료는 창고에 두는 것처럼 사용 빈도에 따라 위치를 정해야 합니다.
Micron은 2026년 COMPUTEX 공식 발표에서 HBM은 고속 모델 실행과 hot KV Cache, LPDDR·DDR은 시스템 조정과 긴 문맥 확장, 데이터센터 SSD는 persistent KV Cache와 대규모 데이터 레이크를 맡는 계층형 구조를 설명했습니다. 이는 AI 인프라가 빠른 메모리 하나의 경쟁이 아니라 여러 저장 공간을 연결하는 설계 경쟁이라는 뜻입니다. Micron 공식 발표를 직접 확인할 수 있습니다.
KV Cache는 긴 대화에서 이미 계산한 정보를 잠시 보관해 같은 계산을 반복하지 않도록 하는 공간입니다. 학생이 중간 계산을 공책에 적어 두는 것과 같습니다. 대화가 길어지고 동시에 접속하는 사람이 늘면 이 공간도 커지므로 HBM만으로 모두 처리하기 어려워질 수 있습니다.
Samsung은 2026년 2월 HBM4 상용 제품의 양산과 출하를 발표하면서 12단 적층 기준 24~36GB 용량과 스택당 최대 3.3TB/s 대역폭을 제시했습니다. 이 수치는 HBM4 제품 발표의 사양이지 모든 AI 서버에서 자동으로 보장되는 서비스 속도는 아닙니다. 실제 결과는 GPU·소프트웨어·냉각·메모리 접근 방식에 따라 달라집니다. Samsung HBM4 공식 발표를 함께 보세요.
HBF와 HBM은 대체재보다 역할 분담에 가깝다
HBF의 핵심은 HBM을 없애는 것이 아니라 HBM에 올라갈 데이터를 줄이고, SSD에서 바로 가져오는 데이터의 부담도 낮추는 데 있습니다. HBM은 가장 자주 쓰는 작업을 맡고, HBF는 비교적 큰 용량이 필요하지만 최고 속도까지는 필요하지 않은 데이터를 맡으며, SSD는 장기 보관과 대규모 데이터 저장을 담당하는 방식입니다.
SK hynix와 Sandisk는 HBF 사양을 OCP를 통해 공개했다고 발표했습니다. 공개 표준은 여러 기업이 같은 연결 규격과 소프트웨어 지침을 참고할 수 있게 해 특정 회사만의 전용 부품에 묶일 위험을 줄이는 데 의미가 있습니다. 다만 표준 공개가 곧바로 대량 판매나 상용 서비스 성능을 뜻하지는 않습니다. SK hynix HBF 원문과 Sandisk 원문을 구분해 읽어야 합니다.
Samsung이 FMS 2026에서 공개한 zHBM은 HBM을 AI 가속기 위에 수직으로 쌓아 데이터 이동 거리를 줄이는 개념 모델입니다. 반면 HBF는 HBM과 SSD 사이에 더 큰 중간 저장 공간을 만들려는 방향입니다. Samsung의 zHBM 성능 수치는 설계 목표와 개념 모델 설명이므로 이미 검증된 일반 제품 성능처럼 쓰면 안 됩니다. Samsung FMS 2026 공식 발표에서 확인할 수 있습니다.
발표 수치와 실제 서비스 성능을 구분해야 한다
AI 메모리 기사를 읽을 때는 숫자만 비교하면 안 됩니다. 첫째, 용량이 칩 하나인지 스택인지 서버 전체인지 확인해야 합니다. 둘째, 대역폭과 지연시간을 구분해야 합니다. 셋째, 실측 결과인지 시뮬레이션인지 설계 목표인지 확인해야 합니다. Micron의 일부 추론 수치는 내부 시뮬레이션에 기반하고, Samsung의 zHBM 수치는 개념 모델의 목표입니다.
결국 질문은 ‘가장 빠른 메모리가 무엇인가’가 아닙니다. 어떤 데이터를 얼마나 오래 보관하고, 얼마나 자주 읽으며, 어느 계층으로 옮길지, 그 과정에서 전력과 비용을 얼마나 쓸지입니다. HBF가 성공하려면 하드웨어뿐 아니라 운영체제와 AI 프레임워크가 데이터 위치를 제대로 관리해야 합니다.
참고한 공식 자료
SK hynix HBF 표준 사양 공개
Sandisk HBF OCP 기술 사양 공개
Google Cloud AI 인프라와 TPU 8i 발표
댓글
댓글 쓰기