AI 데이터센터의 다음 병목은 HBM 다음 저장장치인가: SSD·HDD·KV cache의 역할

AI 데이터센터의 병목은 GPU와 HBM에서 끝나지 않을 수 있습니다. AI 모델을 학습하려면 원본 데이터와 중간 저장 파일을 계속 읽고 써야 합니다. 서비스를 운영하면 사용자의 대화 문맥과 검색 결과도 빠르게 꺼내야 합니다. 그래서 AI가 커질수록 계산 장치 옆의 메모리뿐 아니라, 그 뒤에서 데이터를 보관하고 옮기는 SSD·HDD·네트워크도 함께 중요해집니다.

다만 'HBM 다음은 무조건 SSD'라고 말하면 틀립니다. HBM은 GPU 가까이에서 계산에 필요한 데이터를 매우 빨리 공급하는 메모리이고, SSD는 전원이 꺼져도 데이터를 보존하는 빠른 저장장치이며, HDD는 더 느리지만 훨씬 큰 데이터를 비교적 낮은 비용으로 보관하는 저장장치입니다. 이 글의 질문은 어느 하나가 다른 하나를 완전히 대체하느냐가 아니라, AI 데이터가 언제 어떤 계층에 머물러야 비용과 속도를 함께 맞출 수 있느냐입니다.

HBM·SSD·HDD는 같은 일을 하지 않는다

책상 위에 펼쳐 둔 참고자료를 HBM, 자주 여는 서랍을 SSD, 오래 보관하는 창고를 HDD라고 생각하면 이해하기 쉽습니다. 책상 위 자료는 가장 빨리 볼 수 있지만 비싸고 공간이 작습니다. 창고는 많은 자료를 넣을 수 있지만 필요한 파일을 꺼내오는 데 시간이 더 걸립니다.

AI 시스템도 같습니다. HBM과 DRAM은 GPU·CPU가 지금 계산할 값을 가까이 두는 자리입니다. 기업용 SSD는 학습 데이터, 모델 파일, 체크포인트처럼 빠른 읽기·쓰기가 필요한 데이터를 맡을 수 있습니다. 대용량 HDD는 원본 데이터, 백업, 장기 아카이브처럼 용량과 저장 단가가 더 중요한 데이터를 맡습니다. Micron의 데이터센터 솔루션 설명도 메모리와 스토리지가 데이터센터 워크로드의 서로 다른 요구를 지원한다는 구조를 제시합니다.

학습에서는 체크포인트가 GPU의 '되돌리기 버튼'이다

AI 학습은 GPU에 데이터를 계속 공급해야 합니다. 데이터가 저장장치에서 늦게 도착하면 GPU가 계산을 멈추고 기다리는 시간이 늘어납니다. 비싼 GPU를 더 많이 설치했는데도 실제 사용률이 낮아질 수 있는 이유입니다.

학습 도중 저장하는 체크포인트도 중요합니다. 체크포인트는 긴 학습의 중간 상태를 저장한 파일입니다. 정전·장애·설정 오류가 생겼을 때 처음부터 다시 학습하지 않도록 하는 되돌리기 버튼과 같습니다. 모델과 데이터가 커질수록 체크포인트를 저장하고 불러오는 시간, 그리고 여러 서버가 동시에 저장장치에 접근할 때 생기는 혼잡이 전체 학습 비용에 영향을 줄 수 있습니다.

추론에서는 KV cache가 '대화 메모장'이 된다

추론은 학습이 끝난 모델이 질문에 답하는 과정입니다. 긴 대화나 여러 단계의 에이전트 작업에서는 이미 읽은 문맥을 매번 처음부터 계산하지 않기 위해 KV cache라는 중간 상태를 씁니다. 쉽게 말하면 모델이 지금까지 읽은 문장을 다시 찾기 쉽게 적어 둔 대화 메모장입니다.

모든 KV cache를 HBM에만 두면 빠를 수 있지만 비용과 전력 부담이 커집니다. 반대로 모든 상태를 느린 계층으로 내리면 응답 지연이 늘 수 있습니다. 따라서 운영자는 자주 쓰는 데이터는 빠른 메모리에 두고, 덜 자주 쓰는 데이터는 더 큰 저장계층이나 별도 시스템으로 옮기는 방식을 워크로드에 맞춰 설계합니다. 이미 공개한 Google TPU 8i와 KV cache 글을 함께 보면, 추론 비용이 연산 칩 하나의 성능이 아니라 문맥을 어디에 얼마나 오래 보관하느냐와도 연결된다는 점을 더 쉽게 볼 수 있습니다.

기업 발표를 읽을 때는 'AI 수요'를 계층별로 나눠 봐야 한다

Micron은 AI 시대의 핵심을 메모리와 스토리지로 설명하고, 2026 회계연도 3분기 실적에서 기술·제품·공급에 기록적 수준으로 투자해 고객 수요에 대응하겠다고 밝혔습니다. Micron 2026 회계연도 3분기 실적 발표를 읽을 때는 이 발표가 특정 AI 데이터센터의 단일 설계를 뜻하는 것이 아니라, AI가 메모리·저장 수요 전체에 영향을 준다는 회사의 수요 판단임을 구분해야 합니다.

기업용 SSD의 신호는 더 직접적입니다. Sandisk의 2026 회계연도 2분기 공식 실적은 데이터센터 매출 4억4천만 달러, 전분기 대비 64% 증가를 발표하며 AI 인프라 구축사·대형 기술 기업의 수요를 배경으로 들었습니다. 이것이 모든 AI 데이터센터가 같은 SSD를 쓴다는 뜻은 아니지만, AI 인프라 확대가 기업용 플래시 저장 수요로도 이어질 수 있음을 보여 주는 실제 회사 실적입니다.

Sandisk는 이어 2026년 Investor Day에서 추론 토큰 사용 증가와 KV cache가 메모리 계층을 바꾸고, AI 데이터센터가 더 많은 저장공간을 필요로 할 수 있다고 설명했습니다. 이는 회사의 전망이므로 확정된 시장 전체 결과로 읽으면 안 됩니다. 다만 'AI 수요'를 GPU 주문량만으로 읽기보다, 데이터를 담고 옮기는 NAND·SSD의 용량과 전력 요구까지 함께 봐야 한다는 단서는 됩니다.

대용량 HDD도 사라지는 저장장치가 아닙니다. Seagate의 2026 회계연도 공식 실적은 AI가 데이터 생성과 데이터 가치 활용을 늘리며 대용량 저장 수요를 장기적으로 뒷받침할 수 있다고 설명했습니다. SSD가 자주 쓰는 데이터와 빠른 입출력을 맡는다면, HDD는 원본 데이터·백업·아카이브처럼 엑사바이트급 용량과 저장 단가가 더 중요한 계층을 맡을 수 있습니다.

GPU만 늘리면 해결되지 않는 이유

AI 데이터센터는 한 종류의 부품을 많이 넣는 공장이 아니라, 서로 다른 속도의 부품을 연결하는 시스템입니다. GPU가 아무리 빨라도 학습 데이터가 늦게 오거나 체크포인트 저장이 막히면 기다리는 시간이 생깁니다. SSD가 아무리 빨라도 장기 보관해야 할 원본 데이터를 모두 비싼 플래시에 두면 비용이 커집니다. HDD가 아무리 싸도 자주 읽는 데이터를 그곳에만 두면 서비스가 느려질 수 있습니다.

이 관점은 AI 에이전트 시대에 GPU만 늘리면 안 되는 이유와도 이어집니다. AI 인프라는 연산 칩, 메모리, 저장장치, 네트워크, 전력과 냉각이 서로 기다리지 않도록 맞추는 일입니다. 따라서 투자·산업 뉴스를 볼 때는 'AI 칩을 몇 장 샀나' 다음에 '데이터는 어디에 두고, 얼마나 빨리 옮기며, 장기 보관 비용은 누가 부담하나'를 함께 물어야 합니다.

결론: 저장장치의 질문은 '누가 이기나'가 아니라 '어디에 둘까'다

AI 데이터센터의 다음 병목은 HBM을 SSD가 대체하느냐가 아닙니다. 계산 바로 옆에는 빠른 HBM·DRAM이, 자주 읽고 쓰는 데이터에는 기업용 SSD가, 큰 원본 데이터와 백업에는 대용량 HDD가 필요할 수 있습니다. 중요한 것은 데이터의 사용 빈도, 필요한 응답 속도, 보관 기간, 전력과 비용을 함께 따져 적절한 계층에 놓는 일입니다.

앞으로 AI 인프라 기사를 읽을 때는 세 가지를 확인하면 좋습니다. 첫째, 이 데이터는 모델 계산에 즉시 필요한가, 아니면 장기 보관용인가. 둘째, 병목이 GPU 연산인지 데이터 이동·체크포인트·문맥 보관인지. 셋째, 기업이 말하는 AI 수요가 메모리·SSD·HDD 중 어느 계층의 실제 매출과 연결되는가. 이 세 질문을 던지면 저장장치 뉴스도 AI 산업의 전체 비용 구조 안에서 읽을 수 있습니다.

공식 자료

1. Micron Data Center Solutions — 데이터센터 워크로드에서 메모리·스토리지 제품이 맡는 역할.
2. Micron 2026 회계연도 3분기 실적 발표 — 기술·제품·공급에 대한 기록적 투자와 AI 수요 대응 관련 공식 발표.
3. Sandisk FY2026 Q2 Financial Results — 데이터센터 매출과 AI 인프라 수요 관련 회사 발표.
4. Sandisk 2026 Investor Day — AI 추론·KV cache·NAND 저장계층에 대한 회사의 전망.
5. Seagate FY2026 Results — AI 데이터 생성과 대용량 저장 수요에 대한 회사 설명.