AI 반도체 시장의 새로운 사건: 추론 AI를 위한 구글 TPU의 경쟁력, 엔비디아와의 경쟁, 한계점 정리

 
 
 

AI산업은 GPT(Generative Pre-trained Transformer)의 등장과 함께 생성형AI 시장이 지속적으로 업데이트를 하면서 발전을 거듭해 오고 있습니다. 지금까지의 시장이 LLM(Large Language Model), 텍스트에서 멀티모달(Multimodal Model)을 통해 학습단계를 중심으로 AI 파운데이션 모델을 만들어 가는 과정이었다면, 앞으로의 AI는 추론을 위한 중심으로 전개될 것인데요. 25년 4월에 발표한 구글 TPU가 많은 관심을 모으고 있어서, 이 부분에 대해서 쉽게 이해할 수 있도록 개념들을 한번 정리해보도록 하겠습니다. 

 

엔비디아 버블론, AI버블론이 최근 뉴스 기사들을 통해 많이 접하게 되곤 하는데요. 현재까지 AI 학습을 위해서는 엔비디아가 절대적으로 필요한 부분입니다. 기존 CPU보다는 GPU가 대규모의 병렬연산이 빠르게 가능해지기 때문에 AI학습이 가능하다는 이유로 엔비디아와 AI는 동일시될만큼 중요한 부분으로 자리를 잡아왔습니다. 그래서 엔비디아 칩을 얼마나 확보하느냐가 AI산업을 발전시킬 수 있는 경쟁력이고 평가를 받고 있기도 합니다. 물론 이 부분은 현재 엔비디아가 AI에 절대적으로 필요한 부분이라는 점은 맞습니다. 하지만, AI발전 단계에서 학습에서 추론에서는 양상이 달라질 것이라는 평가들을 많이 하고 합니다. 아무튼 LLM 기반의 학습과정에서는 엔비디아가 기반이 되겠지만, 최근에는 추론으로 AI발전의 무게 중심이 이동을 하고 있는 상황이기에 조금 다른 변화들이 일어나고 있다고 볼 수 있겠습니다.

 

구글, TPU v7(Ironwood)

 
 

AI추론을 위한 구글 TPU

구글은 25년 4월 7세대 TPU인 아이언우드(Ironwood)를 정식으로 공개했습니다. AI 추론(Inference)시대를 본격적으로 대응하겠다고 밝히기도 했습니다. TPU(Tensor Processing Unit)는 구글이 브로드컴(Broadcom)과 함께  머신러닝을 위해 설계한 칩으로 2016년 5월에 발표를 한 이후로 지속적인 업데이트를 하고 있는 상황입니다. 올해 소개한 TPU v7은 7세대이며, 아이언우드는 코드네임으로 이해하시면 되겠습니다. 이번 발표에서 관심을 모으게 된 배경은 25년 11월 18일 제미나이(Gemini) 3.0을 발표하면서, 지금까지 제미나이가 모두 TPU 기반으로 학습되었다고 공개했기 때문에 더욱 관심을 모이게 된 것입니다. 

 

특히 이번 제미나이(Gemini) 3.0에 대한 평가가 긍정적인데요. 구글이 처음으로 GPT-4o와 대등한 수준 또는 그 이상이라는 평가를 받고 있습니다. 특히 실제 사용감이 크게 개선됐다는 점에서 좋은 평가를 받고 있습니다. 특히 멀티모달 처리 속도와 반응성이 빨라져서 실시간 사용성이 자연스럽게 되었다고 합니다. 그리고 환각률(Hallucination rate)이 줄었다고 평가를 받는데요. 이는 메인 모델이 생성한 답을 별도로 검증용 보조 모델을 통해 다시 체크함으로서 좀 더 정확한 답변을 내놓게 되었다는 점이 있겠습니다. 그리고 나노 바나나(Nano Banana)도 지금까지 AI같은 부자연스러운 이미지를 꽤나 자연스럽게 만들 수 있도록 같이 출시를 하면서, 같이 좋은 평가를 받고 있는 상황입니다. 참고로 나노 바나나는 대형 모델이 아니라 초경량 온디바이스 모델임에도, 성능이 비정상적으로 좋아졌다는 게 평가입니다. 개인적으로 사용을 해본 경험도 역시 실제 디자인, 그래픽 현장에서 충분히 쓰일 정도로 자연스러움을 만들어 주고 있어서 놀란 부분이기도 하네요. 

 

다시 돌아가서, TPU가 주목을 받는 이유는 바로, 제미나이 3.0, 나노 바나나가 빠르게 발전한 과정에서 사용되었다는 구글의 발표로 인해 주목을 받고 있는 것이라 정리할 수 있겠습니다. 또 하나는 원래 추론 전용칩으로 알려진 TPU는 초기 v1에서는 검색, 번역 등에 쓰이는 추론 전용 ASIC(한 가지 목적만 극단적으로 잘하도록 설계된 전용 칩)이었으나, AI규모가 폭발적으로 발전하면서 v2부터 HBM 메모리·Pod 아키텍처가 도입되면서 대규모 모델 학습이 가능해졌고, v3·v4·v5p를 거치며 Gemini 시리즈 전체를 학습하는 구글의 핵심 학습 인프라로 자리를 잡았다고 볼 수 있겠습니다. 

 

<구글, TPU 성능비교, TPU v7 성능>

 
 
 

그렇다면, 엔비디아보다 구글일까?

이번 구글 TPU의 가능성으로 인해 엔비디아의 독주가 깨질 것이라는 뉴스 등도 일부 있는데요. 우선은 엔비디아의 방식부터 살펴보면, 엔비디아는 먼저 GPU 한 개의 성능을 최대한 끌어올리고, 그다음 NVLink와 NVSwitch 같은 연결 기술로 여러 GPU를 묶어 확장하는 방식을 선택하고 있습니다. NVLink는 GPU끼리 빠르게 데이터를 주고받게 해주는 초고속 통신선이고, NVSwitch는 여러 GPU를 중앙에서 묶어주는 허브 같은 역할인데요. 쉽게 보면 엔비디아는는 GPU라는 박스(BOX)를 여러 층으로 쌓아 하나의 큰 시스템을 만드는 방식이라고 볼 수 있습니다. 

 

반면, 구글 TPU는 처음부터 수천 개 칩을 하나의 거대한 컴퓨터처럼 설계하는 방식을 취했습니다. 이는 실제 구글의 TPU가 처음부터 엔비디아와 다른 방식으로 시작했다는 점에서 차이가 있는 것입니다. 이번에 발표 7세대 아이언우드(Ironwood)는 9,216개의 TPU를 3D 토러스(Torus)라는 구조로 촘촘하게 묶어, 데이터가 거의 지연 없이 오고 갈수 있도록 설계를 했습니다. 이러한 방식의 장점이라면, 전체 연산능력이 초당 1초에 42.5경번의 연산이 가능하다는 부분입니다. 또한 총 메모리 역시 1.77 페타 바이트(1PB = 100만 GB / 177만 GB)라는 수준으로 확장이 가능하다는 점도 있겠습니다. 그리고 핵심 구조라고 볼 수 있는 3D Torus(3차원 토러스 연결)는 TPU가 앞·뒤·위·아래·좌·우로 직접 연결돼 데이터가 돌아가는 길을 최대한 짧게 만들어 주고, 이러한 설계를 통해서 규모가 커질수록 오히려 효율이 더 좋아지고, 대형 모델을 학습할 때 빠른 속도가 가능하도록 설계를 한 것이라고 할 것입니다. 이러한 측면에서 보면, 엔비디아가 아니라, 구글 TPU가 대세라는 뉴스 등이 나오고 있는 배경이기도 합니다. 
 

 
 

구글 TPU 3D Torus(3차원 토러스) 이해

 
 
 
 

현실은 여전히 엔비디아

하지만, 이 부분은 인공지능 연구, 개발에 대한 생태계가 어떻게 이루어지는지에 대한 현실적인 이해도 필요합니다. 엔비디아 생태계를 만들고 있는 것 중에 하나는 바로 쿠다(CUDA)라는 프로그램입니다. 2006년 11월 쿠다의 발표는 GPU가 그래픽 카드에서 AI·병렬연산 엔진으로 바뀐 중요한 분기점이기도 합니다. 아무튼 쿠다 생태계에서 쉽게 엔비디아 칩을 활용해서 AI설계를 하는 것이 일반적이기 때문에 여전히 엔비디아는 경쟁력을 유지하고 있는 이유이기도 합니다. 애플의 강점이 하드웨어와 소프트웨어를 동시에 가지고 있다는 점처럼 엔비디아 역시 하드웨어와 쿠다라는 소프트웨어를 통해 시장을 점유해가고 있다는 점입니다.

 

물론 여기서 쿠다(CUDA)는 TPU에서 사용하는 있는 프레임워크인 작스(JAX) 텐서플로우(TensorFlow, 구글 1세대 프레임워크)를 지원하고 있기도 한데요. AI 개발자들의 환경에는 이미 파이토치(PyTorch)가 보편화되어 버린 부분이 중요한 지점으로 볼 수 있습니다. 실제로 전 세계 AI 개발자의 약 70~80%가 파이토치를 사용하고 있다는 점에서 구글이 엔비디아가 가진 시장에서 10% 가져올 수 있다는 발언이 현실적이긴 평가라고 하겠습니다.  구글은 구글 나름대로 AI연구를 위해 엔비디아를 대체할 수 있는 TPU를 잘 설계해 왔다고 평가할 수 있겠지만, 구글 TPU가 엔비디아를 대체하거나 넘어설 수 있다는 부분은 당장 AI 개발자들의 현실적인 환경을 이해하지 못하는 상황에서 나오는 분석이라고 볼 수 있겠습니다.  그래서 향후 몇년간은 엔비디아의 GPU체제가 유지될 가능성이 높다는 것이 지금을 상황으로 이해하는게 좋을 것으로 보입니다. 물론 젠슨 황의 마음이 바뻐졌을 것으로 예상이 되긴 합니다.

구글 AI 클라우드와 온디바이스

구글은 TPU를 중심으로 한 자체 AI 인프라를 통해, 앞으로의 AI가 학습보다 추론, 실시간 처리 중심으로 전환될 것이라고 보고 있는데요. 돌이켜 보면 구글은 2010년 초반 자체 신경망 연구를 시작했고, 2014년에 딥마인드(DeepMind)를 인수 하기도 했습니다. 그리고 2016년 대중적인 관심을 모았고 알파고(AlphaGo)를 통해 당시 최고의 바둑기사 이세돌 9단에게 승리를 하기도 했습니다. 이러한 부분들을 보면 빅테크 기업 중 어떤 기업보다 AI연구에 많은 시간과 투자를 한 것이 구글이기도 합니다. 구글은 앞으로 온디바이스 모델인 나노 시리즈와 초거대 모델을 빠르게 돌릴 수 있는 TPU v7을 함께 발전시키면서 클라우드와 온디바이스의 통합된 AI를 준비하고 있는 것으로 보여집니다. 대규모 연산을 TPU로 처리하고, 사용자 단의 즉각적 반응을 초경량 모델을 활용하면서 구글만의 방식으로 AI혁신을 거듭해가고 있는 것이라고 평가할 수 있겠습니다. 

 
 
 
 
 

노력이
실력이
된다

 

애플 팀 쿡 vs 구글 선다 피차이