data-pipeline
-
데이터 파이프라인 문서에는 뭘 써야 할까 — architecture.md가 다루지 않는 것IT 2026. 4. 25. 23:00
아키텍처 문서만으로는 부족하다이전 글에서 아키텍처 문서(architecture.md)에 담아야 할 핵심 항목을 정리했다. 레이어 구분, HLD, 데이터 모델, 외부 의존성, 설정 관리 — 이 다섯 가지가 프로젝트의 정적인 구조를 보여준다.그런데 파이프라인 기반 프로젝트에서는 한 가지가 빠져있다. 데이터가 단계별로 어떻게 변환되며 흐르는가? 이건 HLD로는 표현하기 어렵다. HLD는 컴포넌트 간 의존 관계를 보여주지만, "A 모듈의 출력이 어떤 형태로 B 모듈에 전달되는지", "중간에 캐시가 언제 끼어드는지"는 알려주지 않는다.이 간극을 메우는 것이 데이터 파이프라인 문서(data-pipeline.md)다. 이 글에서는 실제 사이드 프로젝트의 파이프라인 문서를 바탕으로, 어떤 내용을 담아야 하는지를 정리한..