아프니까 개발자다 아프니까 개발자다

AI 에이전트에게 일을 시킬 때, 나는 작은 일을 서브에이전트(subagent, 메인 대화가 특정 작업만 떼어 맡기는 하위 에이전트)에게 자주 위임한다. "이 함수 어디서 정의됐는지 찾아와", "이 파일 한 군데만 고쳐와" 같은 것들이다. 위임은 공짜처럼 느껴졌다. 메인 대화는 깨끗하게 유지되고, 지저분한 탐색은 서브에이전트가 대신 해주니까.그런데 긴 세션에서 이상한 일이 반복됐다. 위임을 열댓 번쯤 하고 나면 메인 대화의 컨텍스트(context, 모델이 한 번에 기억할 수 있는 대화 창)가 바닥나 작업이 중간에 끊겼다. 이유를 뜯어보고 나서야 알았다. 서브에이전트가 돌려준 결과 텍스트는 메인 대화에 그대로(verbatim) 삽입된다. 위임이 끝날 때마다 그 결과가 메인 컨텍스트를 조금씩 갉아먹고 있었던..

AI 코딩 에이전트에 토큰 절약 도구를 처음 붙였을 때 반가웠던 건 "말이 짧아진다"였다. 장황한 설명 대신 핵심만 뱉으니 응답당 출력 토큰이 눈에 띄게 줄었다. 한 도구의 벤치마크로는 10개 작업 평균 출력 65% 감소(범위 22~87%)였다. 여기서 토큰(token)은 AI가 글을 읽고 쓸 때 세는 최소 단위이고, 대부분의 API가 이 토큰 수로 비용을 매긴다.그런데 한참 뒤에 멈칫한 지점이 있었다. 출력 토큰을 아무리 아껴도, 그건 이번 응답 한 번에만 해당하는 절약이었다. 다음 응답에서는 처음부터 다시 벌어야 했다. 반면 매 대화마다 꼬박꼬박 똑같이 지불하는데 아무도 손대지 않는 큰 덩어리가 따로 있었다 — 바로 상주 컨텍스트, 매 세션이 시작될 때마다 자동으로 다시 실려 들어가는 입력이었다.출력..

AI 코딩 에이전트에게 "이 React 컴포넌트가 왜 리렌더되지?"라고 물으면 답을 한다. 그런데 답이 오기 전에 "물론이죠! 기꺼이 도와드리겠습니다. 말씀하신 문제는 아마도…"가 먼저 깔린다. 정작 쓸모 있는 문장은 마지막 한 줄인데, 그 한 줄까지 가는 길이 문단 세 개다. 매 응답이 그런 식이면 토큰(token, 모델이 글을 처리·과금하는 최소 단위 — 대략 단어 한 조각)이 쌓인다.오픈소스 caveman은 이 군더더기만 걷어 내는 도구다. 같은 질문에 대한 정상 응답이 69토큰이라면 caveman을 켠 응답은 19토큰이다. 답의 내용은 같다. 10개 프롬프트로 잰 출력 토큰 평균 65% 감축(범위 22~87%)이라는 실측 숫자가 저장소에 커밋돼 있다. 흥미로운 건 방식이다. caveman은 모델이..