아프니까 개발자다 아프니까 개발자다

AI 에이전트에 긴 프롬프트를 물릴 때마다 나는 습관처럼 단어를 줄였다. configuration은 cfg로, implementation은 impl로, request는 req로. 글자 수가 눈에 띄게 줄어드니 당연히 토큰도 줄었겠거니 했다. 토큰이 곧 비용이고 컨텍스트 한도니까, 짧게 쓰면 아낀다고 믿은 것이다.그런데 막상 토크나이저에 문자열을 넣어 세어 보면 멈칫이 온다. cfg가 configuration보다 토큰을 더 많이 먹는 경우가 흔하다. 글자는 4분의 1로 줄였는데 토큰은 오히려 늘어난 것이다. 이 반직관의 정체를 파고들다 caveman이라는 도구가 이 현상을 아예 규칙으로 못 박아 둔 걸 발견했다. 이 글은 그 하나의 오해 — "짧아 보이는 문자열"과 "토큰이 적은 문자열"은 다르다 — 를 ..