엔비디아 독점을 깨려는 세 갈래 도전

세계 AI 칩 시장에서 엔비디아의 점유율은 적게 잡아도 80퍼센트, 많게는 90퍼센트를 넘는 것으로 추정됩니다. 그런데 최근 엔비디아 독점 구도에 균열의 조짐이 관측되고 있습니다. 시장의 무게중심이 학습에서 추론으로 옮겨 갔기 때문입니다.

엔비디아 독점의 진짜 뿌리는 소프트웨어입니다

엔비디아는 1999년 첫 GPU를 내놓고 2006년 병렬 컴퓨팅 플랫폼 쿠다를 발표했습니다. 2012년 신경망 알렉스넷이 GPU 위에서 성과를 내면서 GPU는 딥러닝의 표준 도구가 됐습니다.

공개된 지 20년이 지난 지금 쿠다는 전 세계 600만 명 이상의 개발자가 쓰는 필수 플랫폼입니다. 수많은 프레임워크가 쿠다의 라이브러리와 컴파일러 위에서 돌아가기 때문에, 기업과 개발자는 이 생태계를 벗어나기 어렵습니다. 엔비디아 독점을 지탱하는 것은 칩이 아니라 이 소프트웨어 관성입니다.

엔비디아는 여기에 랙 스케일 전략을 더했습니다. 차세대 시스템은 6세대 연결 기술로 랙 안의 GPU 72개를 서로 직접 이어 하나의 거대한 가속기처럼 작동시킵니다. 45도 온수를 쓰는 직접 액체 냉각으로 전력과 발열 문제까지 함께 풀었습니다.

엔비디아 독점의 균열은 추론에서 시작됐습니다

AMD는 2028년까지 데이터센터 AI 가속기 시장의 약 3분의 2가 추론 워크로드에서 발생할 것으로 전망합니다. 추론이 중심이 되면 평가 기준이 달라집니다. 단일 칩의 절대 성능보다 전력 효율과 총소유비용이 앞자리로 옵니다.

퀄컴은 모바일에서 다져 온 저전력 기술을 앞세워 추론 전용 플랫폼을 내걸었습니다. 자체 신경망처리장치에 고용량 저전력 메모리와 니어 메모리 컴퓨팅을 결합해 추론의 고질적 병목인 메모리 벽을 겨냥합니다. AMD는 프로세서와 가속기, 네트워킹, 소프트웨어를 하나로 묶은 통합 플랫폼으로 대응합니다.

성과도 나오고 있습니다. 국내 기업 카카오엔터프라이즈는 AMD 프로세서를 도입해 데이터센터 설치 공간을 절반으로 줄이면서 성능은 30퍼센트 높였습니다.

빅테크는 스스로 칩을 만들고 있습니다

구글은 자체 반도체를 6세대까지 고도화해 자사 거대 모델의 학습과 추론을 떠받치고 있습니다. 마이크로소프트는 맞춤형 가속기로 클라우드 운영 비용을 낮추고 있으며, 메타는 광고 추천과 피드 순위 엔진에 최적화한 자체 칩을 데이터센터에 배치했습니다.

가장 두드러진 곳은 AWS입니다. 자사 생성형 AI 서비스에서 처리되는 전체 토큰의 절반 이상이 이미 자체 가속 칩에서 구동됩니다. 2세대 칩은 비교 가능한 범용 GPU 인스턴스 대비 30퍼센트에서 40퍼센트 나은 가격 대비 성능을 제공하며, 3세대는 와트당 성능을 최대 4배까지 끌어올렸습니다.

K반도체도 실전에 들어갔습니다

국내 기업들도 레퍼런스를 쌓고 있습니다. 리벨리온의 신경망처리장치는 SK텔레콤의 통화 요약 서비스에서 하루 평균 70만 건에 달하는 추론 트래픽을 GPU를 대신해 처리하고 있습니다. 모빌린트는 약 25와트로 최대 80TOPS를 내는 저전력 칩으로 산업 현장을 겨냥하고, 하이퍼엑셀은 언어모델 추론에만 맞춘 전용 프로세서를 내놨습니다.

다만 남은 관문이 분명합니다. 쿠다에 준하는 개발자 경험을 확보하지 못하면 아무리 좋은 칩도 선택받기 어렵습니다.

질문이 바뀌었다는 점이 핵심입니다. 누가 더 큰 모델을 만드는가에서 누가 더 싸게 토큰을 처리하는가로 이동했습니다. 엔비디아 독점이 당장 무너지지는 않겠지만, 단극 체제가 다극 체제로 옮겨 가는 과정은 이미 시작됐다고 봅니다. 다음 글에서는 지금 당장 시작해야 하는 양자내성암호 전환을 다루겠습니다.