엔비디아의 전성기가 끝나는 날, 반도체 시장의 다음 판

나는 요즘 한 가지 질문을 계속 머릿속에서 굴리고 있다. "엔비디아가 영원히 이길 수 있을까?" AI 붐이 시작된 이후 엔비디아는 말 그대로 독주했다. 데이터센터 GPU 시장 점유율 95%. 분기마다 시장 예상을 뛰어넘는 실적. 주가는 불과 2년 만에 수배가 올랐다. 이 회사가 틀릴 수 있다는 상상 자체가 어색하게 느껴질 정도다. 그런데 나는 바로 그 시점이 '모든 것이 당연하게 느껴지는 그 순간'이 가장 신중하게 생각해봐야 할 때라고 배웠다. 오늘은 엔비디아의 현재와 앞으로의 변화, 그리고 그것이 반도체 시장 전체게 어떤 의미를 가지는지 내 나름의 시각으로 정리해보려 한다.

 

지금 엔비디아는 어디에 서 있나

먼저 현재 상황을 냉정하게 보자. 2026년 현재, 엔비디아의 데이터센터 GPU 시장 점유율은 95%에 육박한다. 이 숫자 자체가 이미 역사적 이상 현상에 가깝다. 어떤 산업이든 한 기업이 95%를 독식하는 상황은 오래 유지되기 어렵다. 경쟁자가 생기거나, 시장 구조가 바뀌거나, 규제가 개입하거나. 그리고 공급 측면에서도 분명한 신호가 나타나고 있다. SK하이닉스는 "2026년 HBM 생산량이 거의 전량 선계약 완료"라고 밝혔다. 공급이 수요를 전혀 따라가지 못하고 있다는 뜻이다. 지금은 엔비디아가 만들기만 하면 팔린다. 그런데 이 상황이 얼마나 지속될 수 있을까. 골드만삭스의 분석에 따르면 2027년부터 삼성, SK하이닉스, 마이크론의 신규 팹들이 본격 가동되면서 반도체 공급이 늘어나기 시작한다. 그리고 같은 시점 전후로 AI 데이터센터 수요의 성격 자체가 달라지기 시작한다. 바로 "훈련에서 추론으로 전환"이다.

 

훈련과 추론, 이 차이가 왜 중요한가

AI를 잘 모르는 사람도 이 개념만큼은 이해해 두면 앞으로 반도체 시장을 읽는 데 큰 도임이 된다. 훈련은 AI 모델을 만드는 과정이다. GPT, Claudem, 제미나이 같은 거대 언어 모델을 처음 만들 때, 수천억 개의 데이터를 학습시키는 작업. 이 작업은 엄청난 연산 능력이 필요하고, 한 번 하고 나면 끝이다. 더 좋은 모델을 만들 때 다시 하지만, 기본적으로 "한 번 몰아치는 수요"다. 반면 추론은 만들어진 AI 모델을 실제로 사용하는 과정이다. 우리가 챗GPT에게 질문할 때, AI가 그림을 그려줄 때, 자율주행차가 판단을 내릴 때, 모두 추론이 일어난다. 이 수요는 모델을 한 번 만들었다고 끝나지 않는다. 서비스를 운영하는 한 계속 발생한다. "지속적인 수요"다. 2026년까지의 AI 붐은 주로 훈련 수요가 이끌었다. 빅테크들이 경쟁적으로 더 크고 좋은 모델을 만들기 위해 엄청난 양의 GPU를 쓸어 담았다. 엔비디아는 이 수요를 거의 독점적으로 받아냈다. 그런데 2027년을 기점으로 추론 워크로드가 AI 전체 연산의 주류가 될 것으로 전망된다. 일부 분석에서는 2030년까지 추론이 전체 AI 연산의 75%를 차지할 것으로 본다. 이 전환이 엔비디아에게 의미하는 것은 무엇일까.

 

추론 시대에 엔비디아의 독점이 흔들리는 이유

훈련용 GPU와 추론용 GPU는 요구사항이 다르다. 훈련은 무조건 강력한 연산 능력이 필요하다. 엔비디아의 H100, B200 같은 최고사양 칩이 압도적으로 유리한 구간이다. 경쟁자가 따라오기 어렵다. 그래서 95% 점유율이 가능했다. 하지만 추론은 다르다. 물론 연산 능력도 중요하지만, 그보다 전력 효율과 비용이 핵심이 된다. 추론은 24시간 365일 돌아가야 한다. 전기요금이 엄청나게 나온다. 이 구간에서는 "가성비 좋은 칩"이 경쟁력을 갖는다. 그리고 바로 이 지점에서 경쟁자들이 치고 올라올 공간이 생긴다. AMD는 MI300X 시리즈로 추론 시장을 노리고 있다. 구글은 자체 개발한 TPU로 유튜브, 검색, 구글 어시스턴트의 추론 워크로드를 상당 부분 처리하고 있다. 아마존은 Inferentia, 메타는 MTIA, 마이크로소프트는 Maia를 개발 중이다. 빅테크들이 왜 이렇게 자체 칩 개발에 뛰어드는 걸까. 간단하다. 엔비디아에게 지불하는 비용이 너무 크기 때문이다. 추론 단계가 되면 이 비용이 더욱 부각된다. 자체 칩이 엔비디아만큼 성능이 좋지 않더라도, 전력 효율이 높고 자사 서비스에 최적화되어 있다면 충분히 대안이 된다. 내 생각에 이것이 엔비디아 독점의 진짜 균열이 시작되는 지점이다.

 

2027년, 반도체 시장의 판이 바뀐다

내가 2027년을 변곡점으로 보는 이유를 정리해 보면 삼성전자 텍사스 팹, 마이크론 일본 팹 등 대규모 반도체 생산시설들이 2027년 전후로 본격 가동된다. 지금처럼 만들기만 하면 팔리는 시대에서, 공급이 늘어나며 경쟁이 시작되는 시대로 전환된다. 수요 구조의 변화, 훈련 수요가 정점을 찍고 추론 수요가 메인이 되는 시점. 엔비디아에 유리한 게임에서 경쟁자들이 발판을 마련할 수 있는 게임으로 바뀐다. 주가는 언제나 실제 변화보다 먼저 움직인다. 시장이 "2027년에 엔비디아 성장률이 꺾인다"는 것을 인식하기 시작하는 순간은, 실제로 2027년이 오기 6개월에서 1년 전이다. 즉 2026년 하반기가 그 인식의 전환점이 될 가능성이 있다. 그렇다고 엔비디아가 몰락한다는 이야기가 아니다. 성장률이 둔화된다는 것이다. 지금까지 매출이 분기마다 100% 넘게 성장하던 기업이 20~30% 성장하는 기업으로 바뀐다. 이것은 나쁜 것이 아니다. 하지만 주가는 지금의 폭발적 성장을 전제로 형성되어 있다. 그 전제가 바뀌면 주가도 재조정된다. 과연 기업들은 현재로 압박을 받고 있는 Capex을 한계를 뛰어넘고 추론 영역으로의 새로운 Capex를 창출할 수 있을까? 한 가지 전제가 충족 되어야 한다. "AI 서비스가 실제로 돈을 벌기 시작해야 한다." 수억 명이 AI 서비스를 매일 쓰고, 기업들이 AI로 실제 매출을 만들어내는 단계가 와야 한다는 뜻이다. 2027년에 오느냐, 2028년에 오느냐, 아니면 더 늦느냐. 이게 지금 아무도 확신할 수 없는 부분이다.

 

반도체 시장의 다음 주자들

엔비디아가 단기적으로 조정을 받는다고 가정할 때, 반도체 시장에서 다음으로 주목받을 영역을 어디일까. 내가 흥미롭게 보는 세 가지 방향이 있다. 첫째, 추론 특화 칩 설계 기업들이다. 엔비디아의 GPU는 범용이다. 훈련에도 쓰고 추론에도 쓸 수 있다. 그런데 추론에만 최적화된 칩은 훨씬 적은 전력으로 같은 작업을 할 수 있다. 이 틈새를 노리는 AI 칩 스타트업들이 조용히 성장하고 있다. 아직 엔비디아의 대항마는 아니지만, 추론 시대가 본격화되면 이 기업들의 존재감이 달라질 수 있다. 

 

둘째, HBM 이후의 메모리 기술이다. HBM은 엔비디아 GPU와 함께 AI 붐의 양대 축이었다. SK하이닉스가 이 시장을 선도하며 엄청난 수혜를 누렸다. 그런데 추론 시대에는 고대역폭 메모리보다 저전력. 고대역폭 메모리보다 저전력. 고집적 메모리에 대한 수요가 늘어난다. 차세대 메모리 기술 개발에서 누가 앞서나가느냐가 다음 사이클의 승자를 결정할 수 있다.

 

셋째, 엣지 AI 반도체. 지금까지 AI는 데이터센터에서 돌아갔습니다. 그런데 자율주행차, 스마트폰, 공장 자동화, 의료기기에 AI가 들어가려면 "데이터센터가 아닌 기기 안에서" 추론이 일어나야 한다. 이것이 엣지 AI다. 퀄컴, 애플 실리콘, 그리고 여러 자동차 반도체 기업들이 이 영역에서 치열하게 경쟁하고 있다. 데이터센터 GPU 시장과는 완전히 다른 생태계다.

 

엔비디아를 들고 있는 투자자가 지금 생각해봐야 할 것

나는 엔비디아를 부정적으로 보지 않는다. 오히려 이 회사가 단기간에 무너질 이유를 찾기가 더 어렵다. 하지만 투자를 할 때는 회사가 좋으냐 나쁘냐 와, 지금 주가가 적정하냐 아니냐를 구분해야 한다. 좋은 회사도 기대가 너무 높을 때 사면 손해를 본다. 반대로 그저 그런 회사도 기대가 너무 낮을 때 사면 이익을 본다. 지금 엔비디아의 밸루에이션에는 앞으로도 수년간 폭발적인 성장이 이어진다는 기대가 반영되어 있다. 그 기대가 현실이 되는 시나리오도 있다. 휴머노이드 로봇이 본격화되고, 자율주행이 대중화되고, AI 에이전트가 모든 기업에 도입된다면 엔비디아의 수요는 훈련이 끝나도 계속 새로운 형태로 폭발할 수 있다. 그러나 기대가 흔들리는 순간을 미리 생각해 두는 것이 투자자로서의 역할이라고 생각한다. 빅테크 중 한 곳이라도 AI 데이터센터 투자를 삭감하는 발표를 한다면, 그것은 수요의 정점 신호일 수 있다. 엔비디아의 분기 매출 성장률이 처음으로 시장 기대를 밑도는 날이 온다면, 그 실망감이 주가에 빠르게 반영될 것이다. AMD나 커스텀 칩의 데이터센터 점유율이 눈에 띄게 올라오는 시점도 하나의 신호이다. 이 신호들이 나타나기 전까지는 흐름을 따라가되, 신호가 보이기 시작하면 비중을 조절하는 것. 이것이 내가 엔비디아를 바라보는 기본 원칙이다. 

 

결국 중요한 것은 다음 사이클을 먼저 보는 것

반도체 투자자의 역사를 돌아보면 항상 같은 패턴이 반복된다. PC 시대에는 인텔이 독주했다. 스마트폰 시대가 오면서 ARM 기반 칩이 부상했고, 인텔은 그 흐름을 놓쳤다. AI 시대에는 엔비디아가 독주하고 있다. 그리고 이제 추론의 시대, 엣지 AI의 시대가 시작되고 있다. 각 시대의 교체는 기존 강자를 완전히 쫓아내지 않았다. 인텔은 여전히 존재하고 있고, PC 시장도 아직 있다. 다만 시장의 무게중심이 이동했다. 지금 엔비디아 이야기도 같은 맥락이라고 생각한다. 엔비디아가 사라지는 게 아니라, 반도체 시장의 무게중심이 점점 이동하기 시작한다. 그 이동을 미리 읽고, 다음 무게중심이 어디로 이동할지 생각해 두는 것. 이것이 반도체 투자에게 긴 시간 동안 수익을 낼 수 있는 유일한 방법이라고 나는 믿는다. 2027년이 오기 전에, 나는 이 질문을 계속 스스로에게 던질 것이다. "다음 사이클에서 가장 필요한 반도체는 무엇이고, 그것을 만들 수 있는 회사는 어디인가." 아직 답을 찾고 있는 중이다. 하지만 이 질문을 던지고 있다는 것 자체가, 아무 생각 없이 추세를 따라가는 것보다는 낫다고 생각한다. 

 

※이 글은 반도체 시장에 대한 개인적인 생각과 공부를 정리한 것입니다. 특정 종목에 대한 매수. 매도 추천이 아니며, 모든 투자 결정은 본인의 판단과 책임으로 하시기 바랍니다.