토큰 맥싱(token maxxing)의 함정 — 많이 쓴 사람이 이긴다는 착각

어느 대기업의 한 직원이 9일 동안 AI에게 46만 번 말을 걸었다고 한다. 보도로 전해진 숫자라 정확성은 단정하기 어렵지만, 방향은 분명하다. 누군가는 지금 "내가 제일 많이 썼다"를 자랑할 수 있는 회사에 다닌다는 뜻이다. AI 도구 사용량을 점수판에 올려 순위를 매기는 흐름, 영어권에서는 이를 토큰 맥싱(token maxxing, AI 토큰 사용량을 최대로 끌어올리는 데 몰두하는 현상)이라고 부른다.

토큰 맥싱이란 무엇인가

토큰(token)은 AI 언어 모델이 글을 잘게 쪼개 세는 단위다. 질문을 길게 던지고 답을 많이 받을수록 토큰이 쌓인다. 이 토큰 사용량을 조직이 KPI(Key Performance Indicator, 핵심 성과 지표 — 잘하고 있는지를 숫자로 재는 대표 지표)로 삼고, 누가 가장 많이 썼는지 리더보드(leaderboard, 순위표)에 줄 세우는 단계가 토큰 맥싱이다.

실제로 여러 큰 외국 회사가 이 길을 걸었다. 어떤 곳은 엔지니어를 AI 토큰 소비량으로 순위 매기는 내부 순위표를 돌리기도 했다고 한다. 이처럼 사용량을 겨루게 만들어서 AI를 더 적극적으로 사용하게 유도했다.

초기엔 나쁘지 않다 — 일단 손에 쥐게 만드는 단계

오해를 먼저 풀어 두면, 사용량을 보는 것 자체가 죄는 아니다. AI 도구를 막 도입한 조직에서 가장 큰 적은 "안 쓰는 것"이다. 깔아만 두고 한 번도 안 여는 사람이 절반이면, 그 어떤 정교한 성과 지표도 의미가 없다. 이때 "얼마나 쓰고 있나"를 들여다보고 사용을 독려하는 건 합리적인 출발이다. 켜는 사람이 늘어야 다음 이야기가 가능해진다.

문제는 이 출발선에 너무 오래 머물 때 생긴다. 사용량은 "도입됐는가"는 알려 줘도 "쓸모가 있었는가"는 알려 주지 않는다. 그 둘을 같은 것으로 착각하는 순간 함정이 열린다.

토큰은 Input일 뿐, 성과의 대용물이다

여기서 핵심 개념 하나를 짚어야 한다. 토큰 사용량은 Input(입력, 우리가 쏟아부은 양)이다. 그런데 우리가 진짜 원하는 건 Output(출력, 실제로 만들어진 성과)이다. 버그가 줄었는지, 기능이 더 빨리 나왔는지, 고객이 만족했는지가 Output이다. 토큰은 그 성과를 직접 재기 어려우니 대신 세는 대용물(proxy, 진짜 측정 대상을 직접 잴 수 없을 때 끌어다 쓰는 대리 지표)이다.

대용물에는 치명적인 매력이 있다. 측정이 쉽고, 실시간이고, 한 줄 숫자로 떨어진다. 성과는 몇 주 뒤에야 흐릿하게 드러나지만 토큰은 지금 이 순간 대시보드에 또렷하게 찍힌다. 그래서 매력적이다. 가로등 밑에서만 열쇠를 찾는 사람처럼 — 잃어버린 곳이 아니라 밝은 곳부터 뒤지는 것이다. 측정하기 쉬운 곳에 빛이 들어오니, 거기 있는 것부터 목표로 삼는다.

다이어그램 설명. 이 그림은 토큰 사용량이 어쩌다 목표 자리를 차지하는지를 한 줄기로 보여준다. 출발점인 "진짜 목표: 업무 성과"는 직접 재기 어렵다는 이유로 "측정 쉬운 대용물: 토큰 사용량"으로 갈아탄다. 그 대용물을 "KPI·리더보드로 지정"하는 순간, 원래는 성과를 비추는 거울이던 숫자가 그 자체로 쫓아야 할 목표가 된다. 거기서 길이 둘로 갈린다. 한쪽은 "일 없이 토큰만 소진"하는 가짜 활동이고, 다른 한쪽은 "성과는 따라오지 않음"이다. 놓치기 쉬운 함정은 이 두 갈래가 서로 다른 사고처럼 보이지만 실은 같은 뿌리에서 나온다는 점이다. 대용물을 목표로 박는 그 한 번의 선택이 둘 다를 만든다.

측정 쉬운 걸 목표로 삼으면 해킹이 생긴다

경제학에 굿하트의 법칙(Goodhart's law)이라는 이름이 붙은 현상이 있다. 영국 경제학자 찰스 굿하트가 1975년에 처음 말했고, 뒤에 인류학자 메릴린 스트래선이 다듬어 널리 퍼진 문장은 이렇다. "측정이 목표가 되면, 그것은 더 이상 좋은 측정이 아니게 된다." 사람은 목표로 걸린 숫자를 올리도록 행동을 바꾼다. 그 숫자가 성과와 단단히 묶여 있으면 다행이지만, 느슨하게 묶인 대용물이라면 숫자만 오르고 성과는 제자리에 남는다.

토큰을 목표로 걸면 어떤 해킹이 자라는가? 짧게 끝낼 일을 굳이 길게 끌어 토큰을 부풀린다. AI로 보고서를 잔뜩 부풀려 쓰고, 다시 다른 AI로 그걸 한 장으로 압축한다. 토큰은 두 배로 찍히지만 손에 남은 결과물은 처음과 같다. 옛날에 개발자를 "작성한 코드 줄 수"로 평가하던 시절, 똑똑한 사람들이 한 줄로 될 일을 열 줄로 늘려 쓰던 풍경과 정확히 같다. 양을 목표로 걸면 양이 늘 뿐, 가치는 늘지 않는다.

이런 지표를 가리켜 허영 지표(vanity metric, 보기엔 그럴듯하지만 의사결정에 쓸모가 없는 숫자)라고 부른다. 린 스타트업을 정리한 에릭 리스가 못 박은 개념이다. 허영 지표는 오직 올라가기만 하고, 왜 올랐는지 알려 주지 않으며, 그래서 다음에 뭘 해야 할지도 가리키지 못한다. 토큰 누적 사용량은 이 정의에 거의 그대로 들어맞는다. 한 전문가의 표현을 빌리면, 토큰 사용량이 KPI가 되는 순간 우리는 효율과 품질과 리스크 감소 같은 성과가 아니라 산출량 그 자체를 부추기게 된다.

후기엔 Output 관리로 넘어가야 한다

그래서 결론은 "사용량을 보지 말라"가 아니다. 단계를 옮기라는 것이다. 도입 초기에는 사용을 독려하는 입력 지표가 제 몫을 하지만, 도구가 손에 익은 뒤에는 성과를 직접 재는 출력 지표로 무게중심을 옮겨야 한다.

다이어그램 설명. 이 그림은 같은 입력 지표가 시기에 따라 평가가 갈린다는 점을 보여준다. "도입 초기: 사용 독려"에서는 토큰 같은 입력 지표가 켜는 사람을 늘리는 데 쓸모가 있다. 그러나 "성숙기 전환점"을 지나면 측정의 무게중심을 "성과 관리: 사이클 타임·리뷰 품질·장애율"로 옮겨야 한다. 사이클 타임(cycle time, 일이 시작돼 끝나기까지 걸린 시간)이 줄었는지, 코드 리뷰 품질이 유지됐는지, 운영 중 장애율이 늘지 않았는지 — 이런 출력 지표는 소프트웨어 팀의 성과를 재는 표준 묶음으로 자리 잡았다.

개인 AX의 눈으로 다시 보기

이 이야기는 큰 조직만의 문제가 아니다. 개인이 자기 일을 AI 중심으로 바꾸는 AX(AI Transformation, 일하는 방식을 AI를 축으로 재편하는 전환)에서도 같은 함정이 작동한다. 혼자 쓰면서도 "오늘 얼마나 많이 돌렸나"를 스스로의 점수판으로 삼기 쉽다. 그러나 자신에게 던질 질문은 토큰을 몇 개 태웠느냐가 아니라, 어제보다 막힌 문제를 더 빨리 풀었느냐다.

측정하기 쉬운 숫자는 늘 유혹적이다. 실시간으로 찍히고, 자랑하기 좋고, 그래프가 우상향한다. 하지만 그 숫자가 진짜 원하는 성과의 대용물일 뿐이라는 사실을 잊는 순간, 우리는 가로등 밑에서 열쇠를 찾기 시작한다. 밝아서가 아니라 거기 열쇠가 있어서 봐야 한다. 입력을 독려하는 단계는 짧게 끝내고, 성과를 재는 단계로 부지런히 넘어가는 편이 낫다.

---

참고한 공개 자료:

• Goodhart's law — Wikipedia
• "When a Measure Becomes a Target, It Ceases to be a Good Measure" — PMC
• Eric Ries, Vanity Metrics vs. Actionable Metrics
• Tokenmaxxing: When AI adoption metrics go bad — CIO
• Tokenmaxxing and the search for AI metrics that matter — LeadDev

---

이 글은 생성형 AI의 도움을 받아 작성되었습니다. 원본 자료를 기반으로 AI가 초안을 생성하고, 작성자가 검토·편집하였습니다.