GPU vs NPU, 같은 AI 다른 설계

요즘 노트북 광고에는 40 TOPS라는 숫자가 빠지지 않습니다. 반대편 데스크톱 광고에는 3,352 AI TOPS라는 숫자가 붙습니다. 두 수치의 차이는 여든 배가 넘습니다. 그런데도 노트북 제조사들은 40 TOPS짜리 부품을 인공지능 시대의 핵심이라고 소개합니다.

숫자만 보면 앞뒤가 맞지 않습니다. 이 어긋남은 GPU와 NPU가 애초에 다른 문제를 풀도록 설계됐기 때문에 생깁니다.

GPU와 NPU, 규격표를 나란히 놓습니다

GPU는 그래픽 처리 장치에서 출발해 대규모 병렬 연산기로 자란 부품입니다. 엔비디아의 지포스 RTX 5090은 공식 제품 사양에서 3,352 AI TOPS, 32GB GDDR7 메모리, 총 그래픽 전력 575W를 명시합니다. 성능을 끌어올리기 위해 전력과 발열을 감수한 설계입니다.

NPU는 신경망 추론 연산에 특화된 저전력 가속기이며, 노트북과 스마트폰의 프로세서 안에 함께 들어갑니다. 퀄컴 스냅드래곤 X 엘리트의 공식 제품 브리프는 헥사곤 NPU 최대 45 TOPS, 12코어 오라이언 CPU, 메모리 대역폭 135GB/s를 기재하고 있습니다. 인텔 코어 울트라 200V 계열은 NPU 단독 48 TOPS, AMD 라이젠 AI 300 계열은 50 TOPS를 표방합니다.

구분	외장 GPU 예시	노트북 NPU 예시
대표 제품	지포스 RTX 5090	스냅드래곤 X 엘리트
AI 연산 성능	3,352 AI TOPS	45 TOPS
전력	575W	노트북 전체가 수십 W 수준
메모리	전용 32GB GDDR7	시스템 메모리 공유, 135GB/s
설치 위치	별도 카드	프로세서 내장

마이크로소프트는 코파일럿 플러스 PC의 자격 요건을 공식 개발자 문서에서 NPU 40 TOPS 이상으로 규정하고, 여기에 램 16GB와 저장장치 256GB를 함께 요구합니다. 40이라는 숫자는 성능의 정점이 아니라 특정 기능군을 상시 켜 두기 위한 최저선입니다.

미러 이미징 - TOPS 하나로 줄을 세우는 습관

GPU에 익숙한 사용자는 NPU를 보고 45 TOPS로 무엇을 하겠느냐고 말합니다. 큰 모델을 돌릴 수도 없고 학습은 아예 불가능한데 왜 저 부품에 자리를 내주느냐는 것입니다.

반대로 NPU를 기준으로 삼는 쪽은 GPU를 보고 배터리로 두 시간을 못 버티는 부품이 어떻게 개인용 인공지능의 답이 되느냐고 되묻습니다. 회의 중에 자막을 실시간으로 띄우는 일에 575W가 필요하지는 않다는 지적입니다.

두 진영이 같은 단위를 쓰기 때문에 비교가 성립한다고 착각하지만, TOPS는 초당 연산 횟수일 뿐 연산의 정밀도와 지속 시간을 담지 못합니다. 제조사마다 INT8 기준과 INT4 기준을 섞어 표기하는 일도 흔합니다. 저는 부품 비교에서 가장 흔한 실수가 단위가 같다는 이유로 성격까지 같다고 믿는 일이라고 생각합니다.

GPU와 NPU에 던져야 할 질문은 어느 쪽이 빠른가가 아니라 어떤 조건에서 그 속도를 유지하도록 만들어졌는가입니다. 두 렌즈의 정의는 핵심이론 페이지에 정리해 두었습니다.

알로센트리즘 - GPU는 처리량을, NPU는 지속을 지킵니다

GPU가 지키려 한 값은 처리량입니다. 학습이든 대형 모델 추론이든, 한 번에 밀어 넣는 데이터가 클수록 유리한 작업을 짧은 시간에 끝내는 것이 목표입니다. 그 목표를 위해 전용 메모리와 넉넉한 전력, 별도의 냉각 구조를 전제로 삼았습니다. 전기를 많이 쓴다는 특성은 실패가 아니라 선택입니다.

NPU가 지키려 한 값은 지속입니다. 화면 배경 흐리기, 실시간 자막, 문서 요약처럼 사용자가 켜 놓고 잊어버리는 기능은 몇 초 빨라지는 것보다 배터리가 줄지 않는 쪽이 중요합니다. 크리에이티브 스트래티지스가 공개한 측정에서 스냅드래곤 X 엘리트는 이미지 생성 한 장에 41.23줄을 소비해, 87.63줄을 쓴 비교 대상보다 절반 이하의 에너지로 같은 결과를 냈습니다.

그래서 핵심 문장은 이렇게 정리됩니다. NPU의 낮은 TOPS는 성능 부족이 아니라, 하루 종일 켜 둘 수 있는 인공지능을 얻기 위해 지불한 대가입니다. 추론 수요가 학습 수요를 넘어서면서 연산의 무게중심이 옮겨 가는 흐름은 엔비디아 독점 구도를 다룬 글에서 짚은 변화와 맞닿아 있습니다.

반론 - NPU 예찬이 성립하지 않는 구간

설계 의도를 이해한다고 해서 두 부품이 언제나 대등한 것은 아닙니다. 첫째 제약은 메모리입니다. 스냅드래곤 X 엘리트의 135GB/s는 노트북 기준으로 넉넉하지만, 전용 GDDR7을 갖춘 외장 GPU와 견주면 좁습니다. 파라미터가 큰 모델은 연산기가 놀고 메모리가 병목이 되는 구간에서 성능이 무너집니다.

둘째 제약은 소프트웨어입니다. 인공지능 프레임워크와 예제 코드는 여전히 GPU 생태계를 기본값으로 삼습니다. NPU를 쓰려면 모델을 변환하고 양자화해야 하는 경우가 많고, 그 과정에서 정확도가 조금씩 깎입니다.

셋째 제약은 표기의 신뢰도입니다. 앞서 적었듯 TOPS 수치는 정밀도 기준이 통일돼 있지 않아 제품 간 직접 비교가 어렵습니다. 40 TOPS라는 코파일럿 플러스 기준선도 성능 보장이 아니라 기능 활성화 조건일 뿐입니다. 반대편도 적자면, 학습과 대형 모델을 다루지 않는 대다수 사용자에게 575W짜리 카드는 과잉이며 실제로 쓰이는 시간도 짧습니다.

결론 - 무엇을 기준으로 고르면 되는가

선택 기준은 작업이 순간형인지 상시형인지로 갈립니다. 영상 편집이나 모델 미세조정처럼 몇 분에서 몇 시간 동안 최대 성능을 쥐어짜는 작업이라면 외장 GPU가 정답에 가깝습니다. 전력과 소음은 그 성능을 사기 위한 값입니다.

반대로 회의와 문서 작업 사이에 인공지능 기능이 계속 켜져 있어야 한다면 NPU가 있는 기기가 유리합니다. 이때 확인할 것은 TOPS 숫자보다 램 용량입니다. 코파일럿 플러스 기준선인 16GB는 최소 조건이며, 로컬 모델을 조금이라도 다룰 생각이라면 그 위를 봐야 합니다.

두 부품은 경쟁하다가 결국 역할을 나누는 방향으로 가고 있다고 봅니다. 이미 인텔 코어 울트라 200V는 NPU 48 TOPS에 내장 GPU와 CPU를 더해 플랫폼 합산 120 TOPS를 이야기하고 있습니다. 다음 글에서는 사진 파일 형식인 PNG와 WebP를 놓고, 용량과 화질 사이에서 두 형식이 어디를 양보했는지 살펴보겠습니다.