AI 에이전트 시대, GPU만 늘리면 안 되는 이유: CPU·네트워크·클라우드 인프라 읽는 법

먼저 답하면: AI가 ‘대답’에서 ‘일을 하는 단계’로 넘어갔기 때문이다

AI 에이전트(agent)는 질문에 한 번 답하는 챗봇과 다릅니다. 사용자의 목표를 받은 뒤 검색하고, 자료를 비교하고, 필요한 프로그램을 실행하고, 결과를 확인한 뒤 다음 행동을 고르는 AI를 말합니다. 예를 들어 “이번 달 시장 변화 보고서를 만들어 줘”라는 요청을 받으면 자료 검색, 표 작성, 계산, 초안 수정까지 여러 단계를 이어서 수행합니다.

이 차이는 AI 인프라를 바라보는 방법도 바꿉니다. GPU(Graphics Processing Unit·대규모 계산을 빠르게 처리하는 칩)만 많이 사면 모든 문제가 해결될 것 같지만, 실제 에이전트 작업에서는 데이터를 준비하는 CPU, 검색 결과를 옮기는 메모리, 여러 작업을 연결하는 네트워크, 실행 순서를 관리하는 소프트웨어가 함께 움직여야 합니다. 주방으로 비유하면 GPU는 빠르게 요리하는 조리대이고, CPU는 재료를 정리하는 조리사, 네트워크는 재료를 나르는 통로, 소프트웨어는 주문표입니다. 조리대만 늘려도 재료와 주문표가 늦으면 식사는 빨라지지 않습니다.

에이전트의 작업은 왜 GPU 하나로 끝나지 않을까

전통적인 AI 학습은 많은 계산을 한꺼번에 처리하는 일이 중심이었습니다. 반면 에이전트는 검색하고, 문서를 읽고, 도구를 호출하고, 결과를 다시 모델에 넣는 과정을 반복합니다. 이런 작업에서는 순수한 계산량뿐 아니라 데이터가 얼마나 빨리 준비되고 이동하는지가 중요합니다.

CPU(Central Processing Unit·컴퓨터의 일반 작업을 조정하는 칩)는 데이터 준비, 검색, 파일 처리, 작업 순서 조정처럼 다양한 일을 맡습니다. 추론(inference)은 학습이 끝난 AI 모델이 실제 질문에 답하거나 작업 결과를 만드는 단계입니다. 에이전트 추론에서는 한 번의 답변보다 여러 번의 검색·판단·실행이 이어질 수 있어 CPU와 저장장치의 역할도 커집니다.

이 지점에서 Microsoft의 2026년 7월 20일 발표가 중요한 단서를 줍니다. Microsoft는 AI 작업이 커지고 새로운 에이전트 기반 작업이 늘면서 한 가지 인프라 방식만으로는 충분하지 않다고 설명했습니다. Azure에 AMD의 차세대 인프라를 확대하면서 데이터 준비·검색·강화학습·에이전트 조정에 맞춘 HDv2 가상머신, 반도체 설계와 과학 계산에 맞춘 HXv2, 대규모 추론에 맞춘 ND MI455X v7을 각각 제시했습니다.

‘가상머신’과 ‘풀스택’은 무슨 뜻일까

가상머신(VM·Virtual Machine)은 하나의 큰 컴퓨터 안에서 특정 작업에 필요한 CPU·메모리·저장공간을 묶어 빌려 쓰는 독립된 작업 공간입니다. 여러 사람이 한 건물 안에서 각자 사무실을 쓰는 것과 비슷합니다. 따라서 “AI용 VM”이라는 말은 단순히 GPU를 빌린다는 뜻이 아니라, 특정 AI 작업에 맞춘 컴퓨터 묶음을 사용한다는 뜻입니다.

풀스택(full stack)은 칩 하나가 아니라 계산 칩, 메모리, 네트워크, 시스템 소프트웨어, 개발 도구까지 한꺼번에 설계하는 접근입니다. AMD는 2026년 7월 20일 발표에서 Helios를 Instinct MI455X GPU, EPYC Venice CPU, Pensando 네트워킹, ROCm 소프트웨어를 묶은 통합 랙스케일 플랫폼으로 설명했습니다. 랙스케일은 서버 한 대가 아니라 여러 장비를 하나의 큰 시스템처럼 묶는 방식입니다.

AMD 발표에서 중요한 부분은 GPU의 이름보다 서로 다른 부품의 연결입니다. GPU가 계산을 맡고, CPU가 데이터와 작업 순서를 조정하며, 네트워크 장치가 여러 서버 사이의 데이터를 옮기고, ROCm 소프트웨어가 개발자가 AMD 칩을 사용할 수 있게 연결합니다. 어느 한 부분만 빠르고 나머지가 느리면 전체 에이전트 작업은 가장 느린 구간에서 멈춥니다.

Microsoft와 AMD의 발표를 어떻게 읽어야 할까

Microsoft는 Azure의 HDv2를 데이터 준비와 에이전트 조정에 적합한 인프라로 소개했습니다. 발표에 따르면 HDv2는 많은 CPU 코어, 대용량 RAM, 로컬 NVMe 저장장치, 고속 네트워크를 갖춘 구성입니다. 이 수치는 회사가 제시한 제품 사양이지 모든 에이전트 서비스에서 같은 성능이 보장된다는 뜻은 아닙니다.

AMD는 Helios를 대규모 AI 학습과 추론을 위한 통합 플랫폼으로 설명했고, Microsoft는 이를 Azure에서 프론티어 모델 추론과 Azure AI 서비스에 활용할 계획을 밝혔습니다. 여기서 프론티어 모델은 현재 가장 높은 수준의 성능을 목표로 개발되는 대규모 AI 모델을 가리키는 업계 표현입니다. 다만 ‘최고 성능’이라는 표현은 회사 발표의 설명이므로, 독자는 실제 공개 벤치마크와 서비스 출시 시점을 따로 확인해야 합니다.

앞서 살펴본 AI 칩 경쟁 글이 GPU와 자체 가속기의 선택 조건을 설명했다면, 이번 발표는 칩을 선택한 뒤 그 칩을 CPU·네트워크·소프트웨어와 어떻게 묶어 서비스로 만드는지를 보여 줍니다. 즉 칩 경쟁의 다음 질문은 “누가 더 빠른 칩을 만들었나”에서 “어떤 작업을 끝까지 안정적으로 처리하게 만들었나”로 이동합니다.

에이전트는 모델보다 ‘업무 맥락’을 기억해야 한다

에이전트가 회사 업무를 수행하려면 모델이 똑똑한 것만으로는 부족합니다. 어떤 문서가 최신인지, 어떤 직원이 어떤 자료를 볼 수 있는지, 이전 단계에서 무엇을 결정했는지까지 알아야 합니다. 이때 벡터 검색은 문장의 의미를 숫자 배열로 바꿔 비슷한 자료를 찾는 기술이고, 권한 관리는 사용자가 볼 수 있는 자료와 볼 수 없는 자료를 구분하는 장치입니다. 검색은 잘하지만 권한을 무시하는 에이전트는 편리한 비서가 아니라 정보 유출 위험이 될 수 있습니다.

Microsoft Build 2026 자료는 에이전트 확장의 병목을 모델 자체보다 기업 데이터의 일관된 공유 맥락으로 설명했습니다. Microsoft는 Rayfin이라는 오픈소스 SDK·CLI로 데이터베이스·인증·권한·백엔드 로직을 코드로 만들고 Fabric에 배포하는 방향을 소개했습니다. 또 Azure HorizonDB를 AI 애플리케이션용 PostgreSQL 호환 관리형 데이터베이스로 제시하면서 벡터 검색·AI 모델 관리·Microsoft Foundry·Fabric 연결을 강조했습니다. 이는 에이전트가 매번 처음부터 자료를 찾는 대신, 조직의 공통 데이터 기반 위에서 작업하도록 하려는 접근입니다. Microsoft Build 공식 자료

Microsoft의 발표를 쉽게 비유하면, 모델은 일을 잘하는 직원이고 데이터 플랫폼은 회사의 공용 서류함·출입증·업무 인수인계 노트입니다. 직원의 능력만 키워도 서류함이 뒤섞여 있거나 출입증 규칙이 없으면 실제 업무는 불안정합니다. 따라서 에이전트 인프라의 중요한 질문은 ‘모델이 얼마나 똑똑한가’와 함께 ‘정확한 자료를 찾아 합법적으로 사용할 수 있는가’가 됩니다.

AWS와 Recursive 협력이 보여 주는 새로운 컴퓨팅 수요

AWS는 2026년 7월 28일 Recursive와 4억1,000만 달러 규모의 다년 협력을 발표했습니다. Recursive는 AI가 아이디어를 제안하고, 실험을 실행하고, 결과를 검증한 뒤 다음 실험을 고르는 자동화된 AI 연구 시스템을 AWS에서 운영한다고 설명했습니다.

이런 구조는 일반적인 챗봇보다 컴퓨팅 사용 방식이 다릅니다. 질문 한 번에 답하고 끝나는 것이 아니라 여러 연구 루프가 동시에 실행될 수 있습니다. AWS는 순차적으로 진행하면 수개월 걸릴 수 있는 연구를 병렬 컴퓨팅으로 며칠 안에 처리할 수 있다고 설명했습니다. 병렬 처리는 여러 작업을 한 줄로 기다리게 하지 않고 여러 계산 장치에서 동시에 실행하는 방식입니다.

다만 여기에는 중요한 읽기 원칙이 있습니다. Recursive의 ‘자기개선형 AI’와 성능 향상 표현, AWS의 ‘며칠로 단축’이라는 설명은 해당 기업이 발표한 주장입니다. 이를 모든 AI 연구의 일반적인 결과로 확대해서는 안 됩니다. 독자는 실제 공개 벤치마크, 재현 방법, 비용, 안전성 검증이 공개됐는지 함께 확인해야 합니다.

기업이 생산 환경으로 갈 때 생기는 세 가지 벽

Google Cloud가 1,402명의 글로벌 IT 리더를 조사한 2026년 보고서는 에이전트 AI가 실험 단계에서 실제 업무로 넘어갈 때 인프라 업그레이드가 필요하다고 설명합니다. 보고서에 따르면 83%의 조직이 생산용 자율 시스템을 지원하려면 인프라 업그레이드가 필요하다고 답했고, 4곳 중 5곳은 보안·거버넌스·MLOps를 큰 과제로 꼽았습니다. MLOps는 AI 모델을 배포하고 감시하며 업데이트하는 운영 방식입니다. 이 수치는 시장 전체의 확정 통계가 아니라 Google Cloud가 공개한 설문 결과이므로 그렇게 구분해 읽어야 합니다. Google Cloud 공식 보고서

첫 번째 벽은 데이터입니다. 에이전트가 최신 자료를 찾아야 하므로 데이터베이스와 검색 계층이 필요합니다. 두 번째 벽은 안전입니다. 에이전트가 실제 결제·예약·코드 수정 같은 도구를 사용할수록 누가 승인했는지와 어떤 명령을 실행했는지를 기록해야 합니다. 세 번째 벽은 비용입니다. 한 번 답하고 끝나는 챗봇보다 여러 번 추론하고 도구를 호출하는 에이전트가 더 많은 컴퓨팅과 네트워크를 사용할 수 있기 때문입니다.

이제 네트워크가 왜 중요한지 이어서 보겠습니다. 에이전트가 검색 결과를 읽고 외부 도구를 호출하려면 데이터가 여러 장치와 서버 사이를 이동해야 합니다. 계산 칩이 아무리 빨라도 데이터가 늦게 도착하면 대기 시간이 생깁니다. 고속 자동차가 있어도 도로가 좁으면 목적지에 빨리 도착하지 못하는 것과 같습니다.

AI 에이전트 인프라에서 네트워크가 중요한 이유

에이전트가 검색 결과를 읽고 외부 도구를 호출하려면 데이터가 여러 장치와 서버 사이를 이동해야 합니다. 계산 칩이 아무리 빨라도 데이터가 늦게 도착하면 대기 시간이 생깁니다. 고속 자동차가 있어도 도로가 좁으면 목적지에 빨리 도착하지 못하는 것과 같습니다.

AMD는 Microsoft와의 협력에서 Pensando DPU와 Azure Boost를 네트워크 계층에 활용한다고 밝혔습니다. DPU(Data Processing Unit·데이터 이동과 네트워크 작업을 돕는 전용 칩)는 CPU가 모든 네트워크 처리를 직접 하지 않도록 일부 작업을 나눠 맡습니다. 네트워크 지연시간은 데이터가 출발해 도착하기까지 걸리는 시간이고, 대역폭은 일정 시간에 옮길 수 있는 데이터의 양입니다. 둘은 비슷해 보이지만 다른 지표이므로 AI 인프라 발표에서 구분해야 합니다.

이 문제는 AI 데이터센터 전력과 병목을 다룬 글과도 연결됩니다. 서버·전력·냉각만 준비해도 데이터 이동이 느리면 서비스 효율이 떨어지고, 네트워크를 빠르게 만들어도 전력과 냉각이 부족하면 서버를 충분히 켤 수 없습니다. AI 인프라는 부품 하나의 경쟁이 아니라 연결된 시스템의 경쟁입니다.

독자가 다음 AI 인프라 뉴스를 읽을 때 확인할 네 가지

첫째, 발표된 부품이 실제 판매 제품인지 앞으로 제공할 계획인지 구분해야 합니다. 둘째, AI 학습용인지 추론용인지, 아니면 검색·데이터 준비·에이전트 조정용인지 작업을 확인해야 합니다. 셋째, GPU·CPU·메모리·네트워크·소프트웨어 중 어느 계층의 개선인지 살펴야 합니다. 넷째, 회사가 말하는 성능 향상이 공개 벤치마크인지 제품 설명인지 구분해야 합니다.

특히 에이전트 AI는 단순히 모델 크기를 키우는 경쟁과 다릅니다. 여러 번의 판단과 도구 사용을 안정적으로 이어 가려면 계산 속도, 데이터 이동, 작업 관리, 보안, 비용을 함께 봐야 합니다. 그래서 앞으로의 AI 인프라 뉴스에서는 GPU 숫자만 보는 것보다 한 작업이 처음부터 끝까지 얼마나 안정적으로 완료되는지를 확인하는 것이 중요합니다.

한줄정리: AI 에이전트 시대의 인프라 경쟁은 GPU 한 장의 속도가 아니라 CPU·네트워크·소프트웨어가 한 작업을 끝까지 연결하는 능력의 경쟁이다.

참고한 공식 자료

Microsoft, Azure AI·HPC 인프라와 AMD 협력 확대 발표
AMD, Microsoft Azure에 Helios·EPYC·Pensando 인프라 확대 발표
Microsoft Azure, Fabric·Database·에이전트 앱 발표
AWS, Recursive와 자동화 AI 연구 인프라 협력 발표
AWS, What’s Next with AWS 에이전트 AI 발표
Google Cloud, 에이전트 AI 시대 인프라 조사