게시일 | 최종 수정

엔비디아 GPU가 많이 팔린다는 뉴스와 Google·Amazon·Microsoft가 자체 AI 칩을 만든다는 뉴스는 얼핏 서로 반대처럼 보입니다. 그래서 ‘자체 칩이 늘면 엔비디아 GPU는 필요 없어지는 것 아닐까?’라는 질문이 자연스럽게 따라옵니다. 하지만 AI 칩 경쟁은 스마트폰에서 한 회사의 칩이 다른 회사의 칩을 완전히 밀어내는 단순한 승부와 다릅니다. AI를 돌리는 데는 칩 한 장뿐 아니라 메모리, 서버, 네트워크, 전력, 냉각, 그리고 소프트웨어가 함께 움직여야 하기 때문입니다.
쉽게 말하면 GPU와 자체 칩은 같은 운동장에 서 있지만, 항상 같은 종목을 뛰는 선수는 아닙니다. 어떤 곳은 새로운 AI 모델을 빠르게 연구하고 학습시키는 데 강점이 필요하고, 어떤 곳은 매일 수억 명이 반복해서 쓰는 검색·추천·챗봇 서비스를 낮은 비용으로 운영하는 데 강점이 필요합니다. 따라서 중요한 질문은 누가 이기나보다 어떤 작업을, 어떤 규모로, 어떤 소프트웨어와 데이터센터 안에서 돌리나입니다.
이 글은 특정 기업이나 주식의 매수·매도를 권하는 글이 아닙니다. 대신 AI 칩 관련 뉴스를 읽을 때 칩 이름과 성능 숫자만 보고 성급하게 결론내리지 않도록, GPU와 자체 가속기의 역할을 나눠 설명합니다.
먼저 결론: 자체 칩은 GPU의 단순한 대체품이 아니라 ‘반복되는 작업을 더 잘 맞추려는 도구’입니다
GPU는 원래 그래픽 계산을 빠르게 하려고 만들어졌지만, 많은 계산을 동시에 처리하는 구조 덕분에 AI 학습과 추론에도 널리 쓰이게 됐습니다. 여기서 학습은 AI가 많은 문제를 풀며 규칙을 익히는 과정이고, 추론은 이미 배운 AI가 이용자의 질문에 답하거나 사진을 분류하는 과정입니다.
반면 TPU, Trainium, Maia 같은 자체 AI 가속기는 특정 회사가 자기 클라우드와 서비스에서 자주 반복하는 AI 작업을 더 낮은 비용과 전력으로 처리하도록 설계한 칩입니다. 즉, 매일 같은 종류의 도시락을 아주 많이 만드는 급식실이라면 그 메뉴에 맞는 조리 도구를 따로 만드는 것이 유리할 수 있습니다. 하지만 매번 전혀 다른 요리를 시험해야 하는 연구실이라면 여러 재료와 조리법을 폭넓게 다룰 수 있는 도구가 더 편할 수 있습니다.
그래서 자체 칩 발표가 곧바로 ‘GPU가 사라진다’는 뜻은 아닙니다. 오히려 대형 클라우드 기업이 GPU와 자체 칩을 함께 쓰면서, 작업의 성격에 따라 비용·속도·전력·개발 편의성을 맞추려는 흐름에 가깝습니다.

왜 GPU는 여전히 중요한가: 칩만이 아니라 ‘익숙한 도구 상자’가 함께 팔리기 때문입니다
엔비디아의 2026년 4월 26일 종료 FY2027 1분기 데이터센터 매출은 752억 달러였고, 그 안에서 컴퓨팅 매출은 604억 달러, 네트워킹 매출은 148억 달러였습니다. 네트워킹 매출은 전년 같은 기간보다 199% 늘었습니다. 이 수치는 AI 인프라가 칩 하나가 아니라, 많은 칩을 빠르게 연결하는 장치까지 함께 필요로 한다는 점을 보여 줍니다. 엔비디아의 공식 실적 발표에서 확인할 수 있습니다.
GPU의 강점은 넓은 범위의 AI 작업을 지원해 왔고, 개발자·연구자·기업이 익숙한 소프트웨어 생태계가 이미 크다는 데 있습니다. 새로운 모델을 시험하거나, 고객마다 다른 모델을 서비스하거나, 여러 나라의 다양한 기업에 클라우드 자원을 제공하려면 한 종류의 칩에만 맞춘 환경보다 선택지가 넓은 쪽이 편할 수 있습니다.
하지만 GPU도 혼자서 일을 끝내지 못합니다. 수천 개의 칩이 함께 학습하려면 칩 사이에 결과를 빨리 주고받을 네트워크가 필요합니다. 그래서 앞서 AI 데이터센터에서 GPU 다음에 광섬유를 봐야 하는 이유를 다룬 글처럼, GPU를 엔진으로 본다면 연결망은 엔진들이 함께 움직이게 하는 고속도로입니다. 고속도로가 막히면 엔진이 좋아도 전체 서비스는 느려질 수 있습니다.
Google은 TPU를 만들면서도 GPU를 함께 제공합니다
자체 칩이 GPU를 완전히 대체하지 않는다는 가장 쉬운 사례는 Google Cloud입니다. Google은 TPU를 Gemini, Search, Photos, Maps 같은 서비스에 쓰는 자체 가속기라고 설명합니다. TPU는 큰 행렬 계산을 많이 하는 AI 작업에 맞춰 설계됐고, 대규모 학습·추론·추천 작업에 활용할 수 있습니다. Google Cloud TPU 공식 페이지는 TPU가 대형 모델 학습부터 추론까지 지원한다고 안내합니다.
그렇다고 Google Cloud가 TPU만 고객에게 제공하는 것은 아닙니다. Google은 AI 인프라 공식 설명에서 TPU, NVIDIA GPU, CPU를 모두 제공한다고 밝힙니다. Alphabet의 2026년 2분기 실적발표에서도 회사는 Google과 NVIDIA의 여러 가속기를 제공하고, JAX·PyTorch·vLLM·SGLang 같은 소프트웨어로 GPU와 TPU 사이의 작업 이식성을 지원한다고 설명했습니다. Alphabet 2026년 2분기 실적발표 원문입니다.
이 구조는 마치 학교 급식실이 밥을 짓는 큰 솥도 갖추고, 튀김기와 오븐도 함께 갖추는 것과 비슷합니다. 메뉴와 주문량이 다르면 가장 알맞은 도구도 달라집니다. Google이 TPU를 만든다고 해서 모든 고객과 모든 AI 모델에 TPU만 맞는 것은 아닙니다.

Amazon과 Microsoft도 ‘칩 한 장’보다 전체 시스템을 함께 설계합니다
AWS의 Trainium은 대규모 AI 학습과 추론의 비용을 낮추는 것을 목표로 하는 자체 AI 칩입니다. 하지만 AWS의 설명을 자세히 보면 Trainium이라는 칩만 강조하지 않습니다. 칩, 서버, 네트워크, Neuron 소프트웨어, EKS, SageMaker HyperPod를 한 덩어리로 설계한다고 밝힙니다. AWS Trainium 공식 페이지는 이를 ‘칩에서 토큰까지’ 이어지는 구조로 설명합니다.
Amazon의 2026년 2분기 실적 발표에 따르면 AWS 매출은 422억 달러로 전년보다 37% 늘었습니다. 회사는 AI와 칩 사업이 각각 연간 매출 환산 250억 달러를 넘겼다고 밝혔고, Trainium을 쓰려는 고객과 연구소의 다년 약정도 언급했습니다. 다만 이것은 Amazon이 발표한 사업 현황이지, 모든 AI 작업에서 Trainium이 GPU보다 낫다는 뜻은 아닙니다. Amazon 2026년 2분기 실적 발표를 함께 읽어야 합니다.
Microsoft의 Maia 200도 비슷합니다. Microsoft는 Maia 200을 추론용 가속기로 소개하면서, 큰 언어모델이 답을 만들 때의 비용을 낮추는 데 초점을 맞췄습니다. 회사는 Maia 200을 Azure 네트워크, 액체 냉각, 제어 소프트웨어, SDK와 함께 설계했다고 설명합니다. Microsoft의 Maia 200 공식 발표는 Microsoft 365 Copilot과 Microsoft Foundry 등에서 쓸 계획을 제시합니다.
여기서 중요한 구분이 하나 있습니다. Maia 200이 특정 추론 작업의 비용을 낮추도록 설계됐다는 말과, Microsoft가 GPU 사용을 끝낸다는 말은 전혀 다릅니다. Microsoft도 대규모 Azure 환경에서 여러 종류의 가속기를 운영합니다. 엔비디아, Google, Amazon, Microsoft가 모두 칩보다 넓은 ‘전체 시스템’을 말하는 이유가 여기에 있습니다.
성능 숫자를 한 줄로 비교하면 왜 위험할까요
AI 칩 기사에는 ‘몇 배 빠르다’, ‘전력당 성능이 높다’, ‘토큰당 비용이 낮다’는 표현이 자주 나옵니다. 이런 숫자는 중요하지만, 조건을 빼고 비교하면 오해하기 쉽습니다. 같은 시험을 봤는지, 학습인지 추론인지, 어떤 AI 모델인지, 얼마나 많은 칩을 연결했는지, 메모리와 네트워크가 어떤지에 따라 결과가 달라지기 때문입니다.
예를 들어 Microsoft는 Maia 200이 특정 낮은 정밀도 계산과 추론 경제성에 맞춰 설계됐다고 설명합니다. AWS는 Trainium이 학습과 추론의 비용 구조를 겨냥한다고 설명합니다. Google은 TPU가 대규모 학습·추론과 자사 서비스에 쓰인다고 설명합니다. 엔비디아는 GPU뿐 아니라 네트워킹과 소프트웨어를 포함하는 플랫폼을 제공합니다. 이들은 출발점부터 완전히 같은 제품 설명서가 아닙니다.
따라서 독자는 ‘A 칩이 B 칩보다 무조건 빠르다’라는 제목보다, 어떤 모델을 어떤 작업에 돌렸는가, 소프트웨어를 옮기는 데 드는 시간이 얼마나 되는가, 전력·냉각·서버·네트워크까지 포함한 비용은 얼마인가, 실제 고객 사용량이 늘었는가를 함께 봐야 합니다.

AI 칩 경쟁의 진짜 질문은 ‘누가 칩을 만들었나’가 아니라 ‘누가 시스템을 오래 잘 운영하나’입니다
대형 클라우드 기업이 자체 칩을 만드는 이유는 단순히 엔비디아와 경쟁하기 위해서만은 아닙니다. 자신들이 매일 반복해서 처리하는 검색, 추천, 광고, AI 답변, 기업용 AI 서비스의 비용과 전력 사용을 더 잘 통제하려는 목적도 큽니다. 반복되는 작업이 아주 많으면 그 일에 잘 맞는 전용 도구를 만드는 편이 유리할 수 있기 때문입니다.
반대로 AI 모델은 빠르게 바뀌고, 고객마다 쓰는 모델과 언어·데이터·보안 조건이 다릅니다. 그래서 여러 모델을 폭넓게 지원하고, 개발자가 익숙한 도구를 쓰며, 필요에 따라 시스템을 빠르게 확장할 수 있는 GPU 플랫폼도 계속 필요할 수 있습니다. 자체 칩과 GPU는 하나가 이기면 다른 하나가 사라지는 관계라기보다, AI 산업이 커질수록 작업을 나눠 맡는 관계가 될 가능성이 있습니다.
이 관점은 엔비디아 AI 공장은 GPU만 파는 일이 아닌 이유에서 본 전력·부지·네트워크 문제와도 이어집니다. 칩을 무엇으로 고르든, 데이터센터가 실제로 가동되려면 전력·냉각·연결망·운영 인력이 모두 준비돼야 합니다. 또한 AI 투자와 과잉투자를 가르는 기준에서 다뤘듯, 큰 투자 발표가 곧바로 수익을 뜻하지는 않습니다. 결국 서비스 사용량과 현금흐름으로 검증해야 합니다.
다음 뉴스에서 독자가 확인할 네 가지
첫째, 칩 이름보다 작업을 먼저 보아야 합니다. 학습, 추론, 추천, 검색, 특정 기업 내부 서비스 중 무엇을 위한 칩인지 확인해야 합니다.
둘째, 칩과 함께 소프트웨어와 네트워크를 보아야 합니다. 새로운 칩에 모델을 옮길 수 있는지, 개발자가 쓰는 도구가 지원되는지, 수천 개의 칩을 연결할 때 병목이 없는지가 실제 성능을 좌우합니다.
셋째, 회사가 말하는 비용 절감이 칩 한 장의 가격인지, 전력·냉각·서버·네트워크·개발 시간을 포함한 전체 비용인지 구분해야 합니다.
넷째, 발표보다 실제 사용량을 보아야 합니다. 클라우드 AI 매출, 고객 약정, 유료 서비스 이용량, 데이터센터 가동 시점이 늘어나는지 확인해야 칩 전략이 사업으로 이어지는지 판단할 수 있습니다.

마무리: AI 칩 경쟁은 ‘한 장의 칩’이 아니라 ‘맞는 도구를 고르는 경쟁’입니다
자체 AI 칩의 증가는 엔비디아 GPU가 내일 사라진다는 신호가 아닙니다. 대형 클라우드 기업이 자기 서비스에서 반복되는 AI 작업을 더 효율적으로 처리하기 위해 선택지를 늘리는 과정에 가깝습니다. 반대로 새로운 모델 연구, 넓은 고객층, 복잡한 개발 환경에서는 GPU와 그 주변 소프트웨어·네트워크 생태계가 여전히 중요할 수 있습니다.
그러므로 AI 칩 전쟁을 볼 때는 ‘누가 몇 배 빠르다’는 말에서 멈추지 말고, 누가 어떤 작업을 위해, 어떤 데이터센터와 소프트웨어 안에서, 얼마나 안정적으로 운영하는가를 함께 물어야 합니다. 그 질문이 있어야 자체 칩 발표와 GPU 실적 발표를 같은 지도 위에 올려놓고 읽을 수 있습니다.
댓글
댓글 쓰기