아프니까 개발자다 아프니까 개발자다

들어가며 — 12편의 시리즈를 닫으며11편까지는 챗봇 자체의 기능을 다뤘다. 마지막 편은 그 챗봇이 올라가 있는 시스템 레이어의 디자인 한 가지에 집중한다 — "정책을 코드가 아니라 데이터로 표현"한다는 원칙이 GPU 스케줄러와 메모리 SoT 디자인에 어떻게 적용됐는지를 다룬다."좋은 인프라 디자인은 정책 변경이 데이터 한 줄 수정으로 끝난다"는 격언을 자주 듣는다. 이번 글은 그 격언이 실제 운영 시스템에서 어떻게 보이는지를 한 사례로 풀어쓴다.1. jobs.conf 한 줄이 표현하는 것 — GPU 동거 정책 전체DGX Spark 통합 메모리 128GB 안에 GPU를 쓰는 작업이 10개 정도 돌아간다. 텍스트 vLLM, vision vLLM, RAG 임베딩, voice-pipeline Whisper, ..