GPU의 시대는 끝나지 않았다, 그런데 CPU가 돌아왔다

2026년 3월, 인텔 주가가 25년 만의 최고치를 기록했다. 같은 달 AMD 시가총액도 사상 최고치를 찍었다. 두 회사가 동시에 최고치를 경신한 날, 반도체 업계에서는 이런 말이 돌았다. "CPU가 다시 쿨해졌다." 이게 무슨 의미인가. 지난 4년간 반도체 업계의 스타는 GPU였다. 엔비디아, H100, 블랙웰. 이 단어들이 뉴스를 지배했다. CPU는 잊혀진 칩 취급을 받았다. 인텔은 AMD와 애플 실리콘에 밀리며 시장점유율을 내줬고 주가는 바닥을 기었다. 그런데 2026년 들어 무언가 바뀌었다. 서버 CPU 가격이 3월 이후 20% 올랐다. 리드타임이 6개월로 늘었다. 인텔과 AMD의 2026년 서버 CPU 재고가 이미 완판 됐다는 소식이 나왔다. 무슨 일이 일어나고 있는 것인가.

GPU와 CPU는 어떻게 다른가

이 변화를 이해하려면 먼저 두 칩이 왜 다른지를 알아야 한다. GPU와 CPU를 흔히 초등학생과 대학생에 비유하는데 이 비유는 절반만 맞다. 더 정확한 비유는 이렇다. GPU는 초등학생 1만 명이고, CPU는 박사 학위자 16명이다. GPU의 각 코어는 단순하다. 그러나 수천에서 수만 개가 동시에 작동한다. 같은 연산을 수만 번 동시에 처리하는 것이 GPU의 강점이다. 반면 CPU의 각 코어는 복잡한 조건 판단, 논리적 사고, 순서 있는 작업 처리에 최적화돼 있다. 코어 수는 적지만 한 코어가 처리할 수 있는 작업의 복잡도가 GPU와는 차원이 다르다. 이것이 우열이 아니라 설계 철학의 차이다. GPU는 처리량을 최대화하는 방향으로 설계됐고, CPU는 지연 시간을 최소화하는 방향으로 설계됐다. 왜 AI 학습은 GPU인가. AI 모델 학습의 본질은 수천억 개의 숫자로 이루어진 거대한 행렬의 곱셈을 수조 번 반복하는 것이다. 이 연산들은 서로 독립적이고 순서가 없다. 동시에 처리할 수 있다. GPU가 가장 잘하는 것이 바로 이 병렬 행렬 연산이다. 그런데 에이전트 AI는 완전히 다른 구조를 가진다.

 

지금까지 우리가 쓰던 AI는 대화형이었다. 질문하면 답한다. GPU가 답을 생성하고 끝난다. 이 구조에서 CPU는 GPU를 보조하는 역할이었다. 에이전트는 다르다. 목표만 주면 스스로 계획을 세우고, 도구를 쓰고, 코드를 실행하고, 결과를 검증하고, 다시 계획을 수정하면서 작업을 완수한다. 이 과정에서 AI가 하는 일을 분해해보면 추론 자체는 전체 시간의 일부에 불과하다. 나머지는 도구 호출, API 요청, 파일 처리, 결과 검증, 다음 단계 결정 같은 작업들이 채운다. 조지아텍과 인텔의 공동 연구 결과가 이를 수치로 보여준다. 에이전트 워크로드에서 CPU가 담당하는 작업이 전체 지연 시간의 50~90%를 차지했다. 도구 호출 평균 소요 시간이 500밀리초, 추론 평균 소요 시간이 200밀리초다. 에이전트가 전체 시간의 70%를 CPU 작업에 쓰고 GPU를 기다리게 만드는 구조다. GPU가 에이전트 오케스트레이션을 못 하는 건 아니다. 비효율적인 것이다. GPU는 모든 코어가 같은 명령을 실행하는 구조다. "만약 A이면 B를 하고 아니면 C를 해"라는 조건 분기가 나오면, 조건이 맞는 코어와 맞지 않는 코어로 나뉘어 절반이 항상 놀게 된다. 에이전트처럼 매 단계가 이전 단계에 의존하고 조건 분기가 끊임없이 나오는 작업에서 GPU는 구조적으로 불리하다.

 

학습은 끝나지 않는다, 그런데 추론이 더 빠르게 성장한다

여기서 중요한 질문이 하나 생긴다. CPU가 중요해진다는 것은 AI 학습이 끝났다는 뜻인가. 그렇지 않다. 학습은 계속된다. 새로운 데이터, 새로운 도메인, 더 나은 아키텍처가 계속 나오기 때문이다. 학습의 절대 규모도 계속 증가하고 있다. 다만 세 번째 스케일링 법칙이 등장했다. 기존에는 더 많은 데이터와 더 많은 파라미터로 모델을 키우는 것이 성능 향상의 주된 방법이었다. 그런데 이 방향에서 수확 체감이 나타나기 시작했다. 그 대안으로 테스트 타임 컴퓨팅이 주목받고 있다. 추론할 때 더 많은 계산 시간을 주면 정확도가 높아지는 방식이다. o1, o3, DeepSeek-R1 같은 추론 모델이 이 방식을 쓴다. 오픈AI의 2024년 추론 지출이 23억 달러로 GPT-4 학습 비용의 15배에 달했다. 비율의 변화가 이것을 설명한다. 2023년에는 AI 컴퓨팅의 67%가 학습에 쓰이고 33%가 추론에 쓰였다. 2026년에는 학습이 33%, 추론이 67%로 역전됐다. 2030년에는 추론이 75%를 차지할 전망이다. 학교가 없어지는 것이 아니라 졸업생들이 매일 출근하는 인구가 폭발적으로 늘어나는 것이다.

인텔과 AMD만 있는 것이 아니다

CPU 이야기를 인텔과 AMD로만 한정하면 큰 그림을 놓친다. 에이전트 시대에 완전히 새로운 CPU 구도가 만들어지고 있다. x86 진영에서는 인텔 Xeon 6와 AMD EPYC가 경쟁한다. 인텔은 서버 시장의 72%를 점유한 전통 강자다. AMD는 EPYC Venice에 256개의 Zen6c 코어를 담아 에이전트 병렬 처리에서 압도적인 사양을 내세운다. x86 소프트웨어 생태계의 호환성이 두 회사의 공통 강점이다. 그런데 ARM 진영의 성장이 더 흥미롭다. AWS Graviton, 구글 Axion, 그리고 엔비디아 Vera가 여기 속한다. ARM 프로세서는 x86 대비 30% 높은 전력 효율과 20~30% 높은 메모리 효율을 제공한다. 메타가 에이전트 AI 워크로드에 수천만 개의 AWS Graviton 코어를 배포하고 있는 것이 이를 증명한다. 가장 충격적인 신참은 엔비디아 Vera다. ARM 기반 88코어 CPU로 이전 Grace CPU 대비 성능이 2배다. 2026년 3월 엔비디아 GTC에서 GPU 없이 단독으로 에이전트를 처리하는 Vera CPU 단독 랙을 발표했다. 클라우드 인프라 기업 CoreWeave가 이미 Vera 단독 서버 구축을 확정했다. 젠슨 황은 단독 CPU 배포가 더 많아질 것이라고 예고했다. ARM의 서버 시장 점유율은 2025년 12.5%에서 2026년 말 약 20%로 상승하고 있으며 UBS는 2030년까지 40~45%에 달할 것으로 전망한다. ARM Holdings는 모든 ARM 기반 CPU에 로열티를 받기 때문에 이 성장의 구조적 수혜자다.

 

앞으로 3년, CPU 수요가 얼마나 늘어나는가

2026년 기준으로 전 세계 서버 CPU 출하량은 연간 약 4,000만 개다. AMD CEO 리사 수는 에이전트 AI가 만드는 구조적 CPU 수요 증가를 근거로 서버 CPU 시장이 연간 35% 이상 성장해 2030년까지 1,200억 달러를 넘을 것으로 전망했다. 이것이 현실화되면 2029년 서버 CPU 출하량은 약 1억 개에 달한다. 3년 만에 2.5배 성장이다. ARM은 자사 AGI CPU의 2028년 매출 전망을 단 2개월 만에 10억 달러에서 20억 달러로 두 배 상향했다. 오픈AI와 AWS의 380억 달러 7년 계약에서 사람들은 엔비디아 GPU 부분에만 주목했다. 그런데 계약서에는 "에이전트 워크로드를 빠르게 확장하기 위해 수천만 개의 CPU에 접근"한다는 내용이 담겨 있었다. 그 부분이 더 중요한 신호였다. 공급망에서도 변화가 포착된다. CPU 기판을 만드는 일본 회사 이비덴은 2026년 생산 부하가 2024년 대비 1.8배, 2028년에는 2.4배가 될 것으로 전망했다. 공급 병목의 진원지가 바로 이비덴과 신코덴키 두 회사다. 전 세계 CPU 기판의 대부분을 이 두 회사가 공급한다. 수요가 폭발해도 이 두 회사의 생산 능력이 따라가지 못하면 CPU 출하량이 제한된다.

 

2026년 3월 이후 서버 CPU 가격이 10~20% 올랐다. 소비자용 CPU도 5~10% 올랐다. 이것이 첫 번째 인상이었다. 분석가들은 2026년 하반기에 추가로 8~10% 인상이 예정됐다고 경고한다. 가격이 오르는 이유는 구조적이다. 수요는 폭발하는데 공급이 따라가지 못한다. 공급이 부족하면 가격 협상력이 구매자에서 판매자로 넘어간다. 인텔과 AMD는 지금 원하는 가격에 팔 수 있는 위치에 있다. 인텔 CFO가 코어 수 증가에 따라 평균판매가격이 의미 있게 기여했다고 직접 확인했다. 매출 폭발의 효과가 복합적으로 작용한다. 가격이 20% 오르면 같은 수량을 팔아도 매출이 20% 늘어난다. 거기에 판매 수량 자체도 70% 증가한다. 두 효과가 겹치면 매출이 거의 두 배 성장하는 계산이 나온다. AMD가 2026년 1분기에 전년 대비 38% 성장하며 순이익을 거의 두 배로 늘린 것이 이 계산을 현실로 보여준다.

 

CPU 공급 부족의 파급 효과

이 이야기는 CPU 회사 두 곳의 실적 개선으로 끝나지 않는다. CPU 기판을 만드는 이비덴과 신코덴키가 가장 구조적인 수혜자다. 공급 병목의 진원지가 여기이기 때문에 가격 협상력이 가장 강하다. CPU 수요가 폭발할수록 이 두 회사의 기판 주문이 먼저 들어온다. 메모리도 동반 수혜다. 서버 CPU 하나가 추가될 때마다 DDR5 메모리가 다수 필요하다. CPU 수요 폭발은 D램 수요 폭발을 의미한다. SK하이닉스와 삼성전자가 이미 AI 메모리 부족이 2027년까지 지속될 것이라고 경고한 것도 이 맥락이다. 냉각과 전력 인프라도 따라온다. CPU 서버가 늘어날수록 열이 더 많이 나고 전기가 더 많이 필요하다. 버티브와 이튼 같은 데이터센터 인프라 기업들이 수주 폭증을 경험하고 있는 이유다. 그리고 ARM Holdings. GPU 시대에는 엔비디아가 혜택을 가져갔다면 CPU 시대에는 ARM의 로열티 비즈니스가 구조적으로 성장한다. AWS Graviton, 구글 Axion, 엔비디아 Vera, AmpereOne 모두 ARM 아키텍처를 쓴다. 이 CPU들이 팔릴 때마다 ARM에 로열티가 들어온다.

 

모든 공급 부족은 언젠가 끝난다. 2027~2028년 TSMC 2nm 라인이 안정화되고 이비덴과 신코덴키가 생산 능력을 확장하면 공급 병목이 완화된다. 공급이 늘면 CPU 회사들의 가격 협상력이 약해지고 마진이 정상화된다. 지금의 프리미엄이 영구적이지 않다. ARM의 빠른 성장은 인텔에게 위협이다. 서버 ARM 점유율이 20%를 넘어 40~45%로 향하는 과정에서 인텔의 72% 점유율이 구조적으로 침식된다. 인텔이 18A 공정 개선으로 반격에 나서고 있지만 시간이 걸린다. 중국 자체 CPU의 성장도 변수다. 하이곤과 룽신이 중국 내 인텔과 AMD 수요를 대체하기 시작했다. 중국은 전 세계 서버 시장의 중요한 부분을 차지한다.

 

GPU가 CPU를 대체하는 것이 아니고 CPU가 GPU를 대체하는 것도 아니다. 에이전트 AI 시대에는 추론하는 GPU와 조율하는 CPU가 동등하게 필요하다. 학습 시대에 CPU 1개당 GPU 8개였던 비율이 에이전트 시대에 1대 1로 좁혀지는 것이다. GPU 수량은 유지 또는 증가하면서 CPU를 GPU만큼 더 사야 하는 구조가 된다. 파이가 커지는 게임이다. GPU가 전부인 세상이 끝나가고 있는 것이 아니라, GPU가 CPU와 함께 새로운 세계를 만들어가고 있다. 오래 잠들었던 CPU가 에이전트 시대와 함께 깨어나고 있다. 2026년 3월, "CPU가 다시 쿨해졌다"는 말이 돈 것은 그래서였다.

 

※ 이 글은 공개된 기업 발표와 산업 분석 자료를 바탕으로 한 정보 제공 목적의 콘텐츠입니다. 특정 주식에 대한 매수 또는 매도를 추천하는 것이 아니며, 모든 투자 결정과 그에 따른 책임은 투자자 본인에게 있습니다.