아프니까 개발자다 아프니까 개발자다

LLM 에이전트를 만들었다. 질문하면 답이 온다. 그런데 왜 그런 답을 했는지, 어디서 시간이 걸렸는지, 어떤 도구를 호출했는지 전혀 보이지 않는다. 에이전트는 블랙박스다. 이 블랙박스에 유리창을 달아주는 도구가 Langfuse다.Langfuse란 무엇인가Langfuse(Lang + Fuse)는 LLM 애플리케이션을 위한 오픈소스 관측성(observability) 플랫폼이다. 전기 퓨즈가 회로를 보호하고 모니터링하듯, LLM 앱 내부의 흐름을 추적하고 시각화한다.어떤 문제를 해결하는가LLM 앱은 전통적인 소프트웨어와 디버깅 방식이 다르다. 입력이 같아도 출력이 달라지고, 에이전트가 도구를 여러 번 호출하면서 내부 상태가 계속 바뀐다. 기존 로그만으로는 "에이전트가 왜 이런 판단을 내렸는지" 추적하기 어렵..

AI가 코드를 짰다. 근데 제대로 됐나?AI 코딩 에이전트를 쓰다 보면 불안한 순간이 온다. 에이전트가 파일 10개를 수정하고 명령어 5개를 실행했다. 겉보기엔 잘 된 것 같다. 빌드도 통과했다.그런데 이런 의문이 든다:어떤 파일이 어떻게 바뀐 거지?테스트 커버리지가 떨어진 건 아닌가?우리 팀 컨벤션을 지켰나?만약 나중에 문제가 생기면 AI가 뭘 했는지 추적할 수 있나?이 불안을 해소하는 것이 Audit(감사) 시스템이다. 그리고 AI 코딩 에이전트에서 이것을 구현하는 핵심 도구가 PostToolUse 훅이다.PostToolUse 훅이란Hook은 AI 에이전트가 특정 행동을 할 때 자동으로 실행되는 스크립트다. 이전 포스팅에서 Hook의 종류를 소개했는데, 그 중 PostToolUse는 도구 실행이 성공..