아프니까 개발자다 아프니까 개발자다

왜 이 글을 쓰게 됐나이전에 GPU에서 LLM까지 추론 스택을 해부하는 글을 쓰면서, 가장 아래 레이어인 GPU 하드웨어를 "텐서코어가 들어 있는 칩"이라고만 짧게 언급하고 지나갔다. 그런데 이 텐서코어라는 게 사실 그 위의 모든 레이어 — CUDA, PyTorch, FlashAttention, vLLM, Quantization — 가 결국 효율적으로 활용하려고 매달리는 단 하나의 물리 장치다."한 명령에 행렬 곱을 묶어서 처리하는 전용 회로"라는 한 줄 설명을 들었을 때, 멋있긴 한데 정확히 무슨 의미인지 머릿속에 그려지지 않았다. 명령 하나로 행렬 곱을 어떻게 한 번에? 그게 왜 그렇게 대단한 거지? 이 글은 그 질문들을 풀어가는 글이다.1. 먼저, 텐서가 뭔가"텐서"라는 단어가 어렵게 느껴지는 이유..

AI 서버가 일반 기업과 개인에게도 열리고 있다불과 몇 년 전만 해도 AI 서버는 구글, 메타, 아마존 같은 빅테크 기업들의 전유물이었습니다. 수억 원에서 수십억 원에 달하는 가격, 특수 냉각 시설이 필요한 전력 요구량, 전담 엔지니어 없이는 운영할 수 없는 복잡함이 장벽이었습니다.그런데 최근 이 흐름이 바뀌고 있습니다. NVIDIA가 다양한 규모의 DGX(Deep GPU Xceleration) 제품을 내놓고, ASUS와 MSI 같은 대만 제조사들이 동일한 칩을 탑재한 경쟁 제품을 출시하면서, AI 서버가 중소기업과 연구기관, 심지어 개인 개발자에게도 현실적인 선택지가 되고 있습니다.NVIDIA DGX 시리즈 - AI 서버의 기준점DGX는 NVIDIA가 직접 설계하고 판매하는 AI 전용 컴퓨팅 시스템입니..