아프니까 개발자다 아프니까 개발자다

GPU 하나, 할 일은 둘 — 무엇이 문제인가?로컬 AI 서버를 운영하다 보면 이런 상황이 생깁니다. 가족사진 수천 장을 VLM(Vision Language Model, 이미지를 이해하는 AI)으로 분석하는 작업이 몇 시간째 돌아가고 있는데, 갑자기 녹음 파일을 전사해야 할 일이 생긴 겁니다.GPU는 하나뿐입니다. 이미지 분석이 GPU 메모리를 꽉 잡고 있으니, 음성 전사 프로그램은 실행조차 안 됩니다. 그렇다고 이미지 분석을 매번 수동으로 죽이고, 음성 처리 끝나면 다시 켜는 건 너무 번거롭습니다.이 문제를 해결하기 위해 우선순위 기반 GPU 스케줄러를 만들었습니다. 운영체제가 CPU를 여러 프로세스에 나눠주는 것처럼, GPU를 여러 AI 작업에 효율적으로 배분하는 도구입니다.실생활 활용 사례사례 1:..