기본 콘텐츠로 건너뛰기

젠슨 황의 CXMT 'Open-Minded', 엔비디아가 중국 D램을 쓴다는 뜻일까: 규제로 보는 가능한 범위

2026년 10월 24일 기준, 젠슨 황 엔비디아 CEO는 10월 22일 독일 GTC 베를린 현장에서 CNBC가 중국 CXMT(창신메모리)의 메모리를 쓸 계획이냐고 묻자 “We're open-minded(열린 마음이다)”라고 답했지만, 이것은 구매 발표가 아닙니다. CNBC(10.22) CXMT는 미국 국방부의 ‘중국 군사기업’ 목록(1260H)에 올라 있어 연방 조달에서 제한을 받지만, 상무부 수출통제 명단(Entity List)에는 아직 공표되지 않았습니다. 이 글은 이 발언이 어디까지 의미하는지를 미국 규칙으로 확인합니다. 일부 방송은 이 발언을 “CXMT 채택 가능성”으로 소개했습니다. 아래에서 방송 표현과 CNBC 원문을 대조하고, CXMT가 지금 미국 규칙의 어디에 서 있는지, 엔비디아 같은 미국 기업이 쓰려면 무엇이 걸리는지, CXMT의 신기술 발표가 양산과 얼마나 떨어져 있는지를 공식 문서와 언론 보도를 구분해 정리합니다. 읽기 전 유의사항: 이 글은 공개 자료를 정리한 정보성 해설이며 특정 종목의 매수·매도를 권하지 않고 법률 자문도 아닙니다. 미국 규칙은 바뀔 수 있고, ‘제 해석’으로 표시한 부분은 사실이 아니라 추론입니다. 먼저 젠슨 황은 정확히 무엇을 말했나 황 CEO는 CNBC 아르준 카르파 기자와의 인터뷰에서 CXMT와 협력해 제품을 쓸 계획이냐는 질문을 받고 이렇게 답했습니다. “우리는 열린 마음입니다. 우리는 중국 기업들과 일합니다. 전 세계가 공급망 어딘가에서 중국 기업들과 일합니다.”(“We're open-minded. We work with Chinese companies; just about the whole world works with Chinese companies in the supply chain somewhere.”) 이어 “중국은 기초 인프라 기술이 뛰어...
댓글 쓰기

Google TPU 8i가 보여준 다음 병목은 GPU가 아니라 KV cache일까

게시일 | 최종 수정

Google TPU 8i가 보여준 다음 병목은 GPU가 아니라 KV cache일까

TPU 8i를 볼 때 GPU와 단순 성능 비교보다 추론 중 커지는 KV cache와 메모리 이동을 어떻게 다루는지가 중요하다는 글의 핵심

AI 학습 시대에는 GPU의 연산 성능과 HBM 대역폭이 주목받았습니다. 하지만 에이전트 AI와 긴 문맥 추론이 늘어나면 또 다른 문제가 커집니다. AI가 이미 읽고 계산한 문맥을 어디에 저장해 둘 것인가입니다.

이 저장 영역을 KV cache라고 부릅니다. AI 모델이 문장을 읽을 때 각 단어의 관계를 계산한 중간 결과를 key와 value 형태로 보관하는 공간입니다. 같은 문맥을 다시 계산하지 않도록 저장해두면 응답 속도와 비용을 줄일 수 있습니다.

쉽게 말하면 시험 문제를 풀 때 매번 교과서를 처음부터 다시 읽지 않고, 이미 정리한 핵심 노트를 옆에 두고 다음 문제를 푸는 것과 같습니다. 대화가 길어지고 에이전트가 여러 번 도구를 호출할수록 이 노트가 커집니다.

AI가 긴 문맥을 읽고 계산한 중간 결과인 Key·Value를 KV cache에 보관하며, TPU 8i는 SRAM·HBM에 두고 GPU는 단계별 KV cache와 외부 Managed Lustre로 넓히는데 효과는 작업 종류에 따라 다릅니다.

TPU 8t와 TPU 8i는 무엇이 다른가요?

Google은 8세대 TPU를 agentic AI용으로 소개하면서 TPU 8t와 TPU 8i를 나누었습니다. TPU 8t는 대규모 학습·훈련 시스템, TPU 8i는 추론에 초점을 둔 구조입니다. Google Cloud는 TPU 8t 시스템이 9,600개 칩을 묶고, TPU 8i가 추론용 메모리 구조를 강화한다고 설명합니다. Google Cloud 공식 발표와 Google 공식 TPU 설명에서 확인할 수 있습니다.

TPU는 Google이 AI 계산에 맞게 설계한 전용 프로세서입니다. 자동차의 모든 부품을 한 번에 만드는 공장이 아니라, 특정 작업을 빠르게 처리하도록 만든 전용 생산 라인에 가깝습니다. 따라서 TPU 8i를 GPU보다 빠르다고 단순 비교하기보다, 추론 작업에서 메모리와 데이터 이동을 어떻게 줄이는지 봐야 합니다.

Google은 TPU 8t를 9,600개 칩을 묶는 대규모 학습용으로, TPU 8i를 추론용 메모리 구조를 강화한 칩으로 나눠 소개하므로 TPU 8i를 GPU와 단순 속도 비교하기보다 추론의 메모리·데이터 이동 방식을 봐야 합니다.

왜 HBM만 늘리면 해결되지 않나요?

Google Cloud는 GPU의 HBM을 확장하는 tiered KV cache와 외부 KV cache를 위한 Managed Lustre를 소개했습니다. 핵심은 모든 데이터를 가장 빠르지만 비싼 HBM에 넣는 것이 아니라, 가까운 SRAM·HBM, 조금 느리지만 큰 DRAM·스토리지로 계층을 나누는 것입니다. Tiered KV cache 공식 문서와 Managed Lustre 공식 설명이 근거입니다.

이 흐름은 HBM 수요가 사라진다는 뜻이 아닙니다. 오히려 어떤 데이터는 HBM에, 어떤 데이터는 외부 저장소에 둘지 결정하는 시스템 설계의 중요성이 커진다는 뜻입니다. HBM은 계산 칩 가까이에서 즉시 필요한 데이터를 처리하고, 외부 KV cache는 길게 유지할 문맥과 공유 가능한 상태를 저장할 수 있습니다.

KV cache는 가까운 SRAM·HBM, 더 큰 CPU RAM·로컬 SSD, 외부 Managed Lustre 순으로 계층을 나눠 두며, 외부 계층이 항상 더 빠른 것은 아니고 HBM 수요가 사라지는 것도 아닙니다.

AI 인프라의 다음 병목은 무엇일까요?

앞으로 중요한 지표는 칩의 최대 연산량 하나가 아닙니다. 긴 문맥을 얼마나 많이 저장하는지, 같은 문맥을 여러 요청이 얼마나 재사용하는지, HBM과 외부 저장소 사이의 이동이 얼마나 자주 발생하는지, 그리고 이 구조가 실제 응답 지연시간과 비용을 얼마나 줄이는지를 함께 봐야 합니다.

따라서 Google TPU 8i 글의 차별화 포인트는 TPU가 GPU보다 빠르다는 비교가 아닙니다. 에이전트 AI가 늘어나면서 AI 인프라의 병목이 연산에서 메모리 계층·상태 저장·데이터 이동으로 옮겨가는 과정을 설명하는 것입니다.

한줄정리: AI 추론 경쟁은 HBM 용량만 늘리는 싸움이 아니라, 자주 쓰는 문맥을 가장 가까운 메모리에 두고 나머지를 효율적으로 보관하는 KV cache 시스템 설계 경쟁입니다.

AI 추론의 KV cache를 평가할 때는 문맥 길이와 동시 요청, cache 재사용, 데이터 이동과 I/O, 응답 지연, 요청당 비용 다섯 가지를 함께 확인해야 합니다.

뉴스에서 이야기한 기업

Google, NVIDIA, 삼성전자, SK하이닉스, Micron, DDN

키워드

Google TPU 8i, KV cache, 에이전트 AI, HBM, AI 추론, 데이터센터 메모리

공식 출처

Google Cloud AI Infrastructure at Next ’26
Google Eighth-Generation TPUs
Google Cloud Tiered KV Cache
관련 글과 함께 읽기

HBM base die가 메모리와 로직을 연결하는 방식와 첨단 패키징 경쟁을 함께 읽으면 KV cache와 HBM이 데이터 이동·메모리 계층 문제로 연결되는 구조를 이해할 수 있습니다.

라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

중국은 왜 AI 모델·에이전트 기술까지 수출통제하나: 대만의 AI 칩 단속 계획과 함께 읽는 법

기준일: 2026년 10월 18일. 이번 주 AI 수출통제 뉴스는 서로 반대 방향처럼 보였습니다. 대만은 AI 서버와 첨단 반도체를 허가 없이 중국으로 보내면 형사처벌을 하겠다는 계획을 밝혔고, 중국은 대형 AI 모델과 에이전트(스스로 일을 이어서 처리하는 AI) 기술을 해외로 넘기기 전에 정부에 등록하라고 했습니다. 하지만 두 소식은 같은 질문에 답하고 있습니다. AI의 어느 층을 국경 밖으로 내보낼 때 정부가 확인하느냐는 질문입니다. 다만 법적 상태는 다릅니다. 중국은 10월 16일 목록 개정안을 공개하고 임시 등록을 시작했고 [1] , 대만은 아직 계획 단계입니다 [2] . 먼저 ‘칩 수출통제’와 ‘기술 수출통제’는 어떻게 다른가 칩 수출통제 는 완성된 칩이나 서버 같은 물건이 국경을 넘는 것을 확인하는 제도입니다. 기술 수출통제 는 설계도, 소프트웨어, 학습이 끝난 AI 모델, 노하우, 그리고 그 기술의 소유권이나 사용권이 외국으로 넘어가는 것을 확인합니다. 빵을 파는 일과, 빵 레시피를 넘기거나 빵집의 주인을 외국 회사로 바꾸는 일이 다르다는 것과 비슷합니다. 미국과 EU의 칩 규칙은 앞선 AI 칩 수출통제 글 에서 정리했으니, 이번 글은 중국의 기술 통제와 대만의 계획에 집중합니다. 몇 가지 용어를 먼저 풀어 두겠습니다. 에이전트 는 사용자의 요청을 받아 여러 단계를 스스로 이어서 처리하는 AI입니다. 컴퓨팅 클러스터 는 AI 서버 여러 대를 묶어 하나의 큰 계산 설비처럼 쓰는 구성입니다. 사전 등록 은 기술을 내보내기 전에 정부 시스템에 거래 내용을 미리 신고하는 절차입니다. 중국은 10월 16일 무엇을 발표했나 중국 상무부와 과학기술부는 공고 2026년 제48호로 ‘중국 수출금지·수출제한 기술 목록’ 개정안을 공개하고 의견을 받기 시작했습니다. 의견 수렴 기간은 10월 16일부터 11월 15일까지입니다. 새로 올리려는 기술은 인공지능, 생물의약, 태양광 3개 분야 40개이고, 이 중 AI 분야는 대형모델·에이전트·컴퓨팅 클러스터·정보...
댓글 쓰기
자세한 내용 보기

국내생산세액공제, 왜 ‘공장 투자’보다 ‘국내 생산·판매’를 보려 할까

반도체나 배터리 공장을 국내에 지으면 세금을 깎아 준다는 말은 익숙합니다. 그런데 정부가 2026년 세제개편안에서 새로 제안한 국내생산세액공제 는 출발점이 조금 다릅니다. 공장을 짓기 위해 기계를 산 비용만 보는 것이 아니라, 전략 품목을 국내에서 직접 만들고 직접 판매한 양 을 기준으로 세금을 줄이겠다는 방식입니다. 산업통상부 공식 설명 은 이 제도를 국내 생산 기반이 약한 전략 품목의 공급망을 보강하기 위한 정부안으로 소개합니다. 하지만 여기서 가장 먼저 짚어야 할 점이 있습니다. 이 제도는 이미 누구나 신청할 수 있는 확정 제도가 아닙니다. 2026년 세제개편안에 담긴 정부안 이며, 국회 논의와 후속 법령 준비를 거쳐 대상 품목, 적용 요건, 기준공제액이 구체화돼야 합니다. 그래서 지금은 ‘어느 회사가 얼마를 받는다’보다, 정부가 무엇을 기준으로 삼으려 하는지 읽는 단계입니다. 이 글의 질문은 하나입니다. 왜 정부는 ‘얼마나 큰 공장을 지었는가’보다 ‘무엇을 국내에서 실제로 생산하고 판매했는가’를 보려 할까요? 투자를 지원하는 방식과, 생산 결과를 보는 방식은 다릅니다 세금 지원을 학교에 비유해 보겠습니다. 새 과학실을 짓도록 돈을 보태는 것은 ‘준비 비용’을 돕는 방식입니다. 반면 과학실이 실제로 운영돼 학생들이 실험을 한 횟수에 따라 지원하는 것은 ‘결과’를 보는 방식입니다. 둘 다 필요하지만, 확인하는 지점이 다릅니다. 기존의 투자세액공제 는 기계·설비 같은 투자에 무게를 둡니다. 반면 국내생산세액공제 정부안은 국내에서 직접 생산하고 판매한 적격 품목의 생산량에 기준공제액을 반영하는 구조를 제시합니다. 즉 공장 건물만 세웠는지가 아니라, 생산이 이어지고 국내 판매라는 조건까지 충족했는지를 보겠다는 뜻입니다. 대한민국 정책브리핑의 세제개편안 설명 도 이 특례를 생산량에 기초한 소득세·법인세 공제 방향으로 설명합니다. 그렇다면 정부가 결과를 보려는 이유는 무엇일까요? 공장을 짓는다고 해서 핵심 부품을 국내에서 계속 만들거나 공급망이 안정되는...
댓글 쓰기
자세한 내용 보기

AI 인프라에 1,712억 달러: 자유현금흐름이 줄어도 실패라 단정하면 안 되는 이유

AI 뉴스에서 요즘 자주 나오는 장면이 있습니다. Amazon, Alphabet, Microsoft, Meta가 데이터센터·서버·GPU에 막대한 돈을 쓰자 자유현금흐름(FCF)이 줄거나 적자로 바뀌었다는 이야기입니다. 숫자만 보면 “AI에 너무 많이 써서 현금이 사라졌다”고 느끼기 쉽습니다. 하지만 이 문장만으로 투자의 성공·실패를 판정하면 중요한 순서를 거꾸로 읽게 됩니다. 자유현금흐름은 회사가 본업으로 번 현금에서 공장·서버·장비를 사는 데 쓴 돈을 뺀 뒤 남는 현금 입니다. 학교로 비유하면, 매점이 하루에 버는 돈은 늘었지만 낡은 급식실을 새로 짓느라 현금을 먼저 쓴 모습과 비슷합니다. 공사가 잘 끝나 더 많은 학생이 이용하면 나중에 매점·급식 수입이 늘 수 있습니다. 반대로 새 건물을 지어도 이용자가 없으면 그 투자는 부담이 됩니다. 그래서 AI 투자도 질문을 두 개로 나눠 봐야 합니다. 첫째, 현금이 줄었는가. 둘째, 줄어든 현금이 데이터센터·칩·네트워크를 거쳐 클라우드 사용량·광고 효율·AI 서비스 매출로 되돌아오고 있는가. 이 글은 두 번째 질문을 확인하는 방법을 정리합니다. 1,712억 달러라는 숫자는 ‘순위표’가 아니라 경고등입니다 2026년 6월 말 기준 최신 확정 보고 분기에서 Amazon의 유형자산 취득은 542억 800만 달러 , Alphabet의 자본적 지출은 449억 2,400만 달러 , Microsoft의 자본적 지출은 410억 달러 , Meta의 금융리스 원금 상환을 포함한 자본적 지출은 310억 7,800만 달러 였습니다. 이를 기계적으로 더하면 1,712억 1,000만 달러 입니다. 하지만 이 숫자를 네 회사가 똑같은 방식으로 지출한 ‘정확한 순위’로 보면 안 됩니다. Amazon은 유형자산 취득을, Alphabet은 CapEx를, Microsoft와 Meta는 금융리스 영향까지 포함한 CapEx를 중심으로 공시합니다. 이 합계가 알려 주는 것은 “누가 1등인가”가 아니라 AI가 이제 화면 안의 ...
댓글 쓰기
자세한 내용 보기