AI가 다 만들면 나는 뭘 하나 — 좋은 검증 레이어를 만드는 사람

"AI가 다 하면 나는 뭘 하지?"라는 불안

요즘 개발자 사이에서 가장 자주 오가는 불안이 있다. 모델이 코드를 짜고 문서를 쓰고 테스트까지 만들어 내는데, 그러면 사람이 하던 생산은 누구 몫이 되며 나는 무엇으로 가치를 내는가 하는 물음이다. 손을 빠르게 움직이는 일이 곧 실력이라고 믿어 온 사람일수록 이 질문이 더 무겁게 다가온다.

이 글은 그 불안에 대한 답을 하나만 붙잡고 간다. AI가 생산을 가져갈수록 사람에게 남는 전문성은 분별하는 안목이고, 그 안목이 좋은 검증을 만든다는 것이다. 여기서 검증 레이어(생산물이 옳은지 가려내기 위해 사람이 쌓아 두는 판단의 층)는 단순한 자동 테스트가 아니라, 도메인을 깊이 아는 사람만 만들 수 있는 자산이다. 결론부터 말하면, 빼앗기는 게 아니라 더 귀한 능력만 남는다.

생산하는 능력과 분별하는 안목은 다른 능력이다

먼저 헷갈리기 쉬운 두 능력을 떼어 놓아야 한다. 하나는 결과물을 직접 만들어 내는 능력이고, 다른 하나는 만들어진 결과물을 놓고 좋고 나쁨을 가려내는 안목이다. 이 둘은 같이 자라는 경우가 많아 한 덩어리처럼 보이지만, 성격이 전혀 다르다.

▲ 결과물을 만들어 내는 능력

다이어그램 설명. 결과물을 만들어 내는 능력은 요구사항을 입력으로 받아 산출물을 내놓는 한 방향 작업이다. 손과 시간이 들어가는 생산이며, 코드를 타이핑하고 문서를 채우는 바로 그 일이다. 그리고 이 영역이 AI가 가장 빠르게, 가장 싸게 대신하는 자리다. 그래서 이 능력만을 자신의 실력 전부로 여기면 불안이 커진다.

▲ 분별하는 안목

다이어그램 설명. 분별하는 안목은 만들어진 결과물 앞에서 좋고 나쁨의 기준을 대고 무엇이 옳은지를 가려내는 일이다. 핵심은 손이 아니라 판단이며, 도메인을 모르면 기준 자체를 세울 수 없다. 생산은 결과물 하나를 내놓고 끝나지만, 분별은 그 결과물이 옳은지 그른지를 정의하는 데까지 나아간다. 바로 이 정의하는 힘이 다음 단계에서 검증을 만들어 낸다.

라디오 프로듀서 아이라 글래스가 남긴 취향의 격차(taste gap, 안목은 일찍 자라는데 손끝의 실력이 한참 뒤따라오며 생기는 간극)라는 유명한 이야기가 이 차이를 잘 보여 준다. 무언가를 만드는 사람은 대개 안목이 먼저 자란다. 좋은 것을 알아보는 눈은 이미 높은데, 정작 자기 손에서 나오는 결과물은 그 눈에 한참 못 미쳐 몇 년을 괴로워한다는 이야기다. 안목과 생산 실력이 따로 논다는 가장 익숙한 증거다.

여기서 중요한 자각이 하나 나온다. 스스로 이 둘을 혼동하면 안 된다. 내가 빠르게 만들어 낸다는 것과 내가 좋은 것과 나쁜 것을 가려낸다는 것은 다른 능력이고, 앞쪽을 실력 전부라고 믿으면 AI가 생산을 대신하는 순간 설 자리가 사라진 듯 느낀다. 그러나 정말로 남는 것은 뒤쪽이다.

좋은 검증은 도메인을 깊이 아는 사람이 만든다

분별하는 안목이 왜 그렇게 중요한가? 그것이 좋은 검증을 만드는 유일한 출발점이기 때문이다. 검증을 만들려면 먼저 이것이 옳다를 정의할 수 있어야 한다. 무엇이 정답인지 모르면 정답과 오답을 갈라낼 검사 자체를 쓸 수 없다. 그리고 이것이 옳다를 정의하는 일은 그 업을 깊이 이해한 전문가만 할 수 있다.

안드레이 카파시는 2026년 한 강연에서 같은 이야기를 다른 말로 했다. 실행이 쉬워질수록 병목은 무엇을, 누구를 위해, 왜 만드는가를 아는 일로 옮겨 가고, 이 판단은 압축되지 않는다고 말했다. 그는 에이전트가 여전히 구조적인 실수를 한다는 예로, 자신이 만든 앱 메뉴젠(MenuGen)에서 겪은 일을 들었다. 사용자가 스트라이프(Stripe)로 결제하면 크레딧을 주는 기능을, 에이전트가 결제 기록의 이메일 주소와 구글 로그인 계정의 이메일 주소를 맞춰 같은 사람으로 잇는 코드로 짜 놓은 것이다. 문법적으로는 멀쩡히 돌아가는 코드였지만 설계로는 틀렸다. 결제할 때 쓴 이메일과 로그인할 때 쓴 이메일이 다를 수 있어서, 돈을 낸 사용자가 정작 크레딧을 받지 못하는 사고가 나기 때문이다. 옳은 설계는 이메일이 아니라 바뀌지 않는 사용자 ID로 두 기록을 잇는 것이다. 카파시는 이를 두고 그럴듯해 보이지만 나쁜 시스템 설계라고 불렀다. 코드를 뽑아내는 일은 에이전트가 대신해도, 결제 신원과 로그인 신원은 다르다는 도메인 감각으로 무엇이 옳은 짝인지 가려내는 판단은 여전히 사람 몫이라는 뜻이다.

이 흐름은 evals(AI 출력이 좋은지 나쁜지 체계적으로 재는 평가 검사 묶음)라는 이름으로 이미 업계의 핵심 기술이 됐다. 평가 분야의 대표 강사들은 앤트로픽과 오픈AI의 제품 책임자들이 evals를 제품 빌더에게 가장 중요한 새 기술로 꼽았다고 전한다. 누군가는 evals를 새로운 단위 테스트라고 부르기도 한다. AI 출력은 같은 입력에도 매번 달라지므로, 코드를 읽어 결과를 예측하던 방식이 통하지 않고 결과를 직접 재는 검증이 그 자리를 메운다.

그렇다면 좋은 평가는 누가 만드는가? 평가를 잘 만드는 사람들이 공통으로 강조하는 첫 단계는 데이터를 보라다. 요약 점수가 아니라 실제 출력 기록을 도메인 전문가가 직접 눈으로 훑으며 무엇이 틀렸는지 분류하는 데서 검증이 시작된다. 그 업을 모르면 어떤 출력이 미묘하게 틀렸는지조차 알아채지 못한다. 결국 좋은 검증을 만드는 사람은 도메인을 깊이 아는 전문가다.

검증 레이어를 쌓을수록 사람은 더 높은 전문가가 된다

다이어그램 설명. 이 그림은 사람의 판단이 한 번 쓰고 사라지는 게 아니라 자산으로 쌓이는 순환을 보여 준다. AI가 결과물을 생산하면 사람이 좋고 나쁨을 판단하고, 그 판단을 옳음의 기준이라는 검증으로 고정해 두면, 다음 생산물부터는 그 검증이 자동으로 적용된다. 핵심은 한 바퀴 돌 때마다 사람이 같은 판단을 손으로 반복하지 않고 더 어려운 판단으로 올라간다는 점이다. 검증 레이어가 한 겹씩 쌓일수록 사람의 전문성은 흩어지지 않고 누적된다.

여기서 일이 뒤집힌다. 검증을 한 번 잘 정의해 두면 그것은 코드처럼 남아 다음 작업을 지킨다. 사람은 이미 정의한 판단을 매번 다시 내리지 않아도 되고, 더 높은 수준의 모호한 판단으로 시선을 옮긴다. 생산을 내려놓은 시간이 더 깊은 분별로 투자되는 구조다. 그래서 AI에게 생산을 넘기는 일은 전문성의 후퇴가 아니라, 전문성을 검증의 형태로 압축해 쌓아 올리는 과정이 된다.

KPI도 생산량에서 검증으로 옮겨 간다 (전망)

개인의 일하는 방식뿐 아니라 평가 기준도 따라 움직인다. 조직이 사람을 가늠하는 잣대도 시간이 지나면 얼마나 많이 만들었나에서 당신이 더한 검증의 양과 구조는 무엇인가로 옮겨 갈 것이라고 본다. 이 부분은 공개된 데이터로 단정할 수 있는 사실이 아니라 흐름을 읽은 전망이자 추정이다. 다만 생산이 흔해지면 희소한 것의 가치가 오른다는 단순한 이치에서 자연스럽게 따라 나온다.

이것은 개인의 AX(AI Transformation, 일하는 방식을 AI 중심으로 다시 짜는 전환)에도 그대로 적용된다. 나의 하루를 AI로 재설계할 때 던질 질문은 어떻게 더 빨리 만들까가 아니라, 내가 어떤 검증을 정의해 두면 AI의 생산을 믿고 맡길 수 있을까로 바뀐다. 생산 속도를 자랑하는 대신, 내가 남긴 검증이 몇 겹인지를 자랑하게 된다.

그래서, 답

"AI가 다 하면 나는 뭘 하지?"에 대한 답은 이렇다. 당신은 생산을 내려놓는 대신 분별을 든다. 만들어 내는 손은 AI에게 위임하고, 무엇이 옳은지를 정의하는 안목으로 검증을 세운다. 그 검증을 한 겹씩 쌓아 가는 동안 당신은 더 높은 전문가가 된다. 생산은 흔해지지만 옳음을 정의하는 안목은 여전히 희소하고, 그 안목이야말로 AI가 대신해 줄 수 없는 마지막 자리다.

---

참고한 공개 자료:

• Andrej Karpathy, Sequoia Ascent 2026 summary — https://karpathy.bearblog.dev/sequoia-ascent-2026/
• Andrej Karpathy on Software 3.0 and What You Still Have to Own — https://podcastalpha.substack.com/p/karpathy-agentic-engineering-software-3
• Why AI evals are the hottest new skill for product builders (Hamel Husain & Shreya Shankar) — https://www.lennysnewsletter.com/p/why-ai-evals-are-the-hottest-new-skill
• Why AI Evals Are the New Unit Tests — https://aakashgupta.medium.com/why-ai-evals-are-the-new-unit-tests-the-quality-assurance-revolution-in-genai-456888217342
• The Top 11 Ways to Easily Improve Your AI Applications (look at your data) — https://hugobowne.substack.com/p/the-top-11-ways-to-easily-improve
• The Taste Gap: Ira Glass on the Secret of Creative Success — https://www.themarginalian.org/2014/01/29/ira-glass-success-daniel-sax/
• Ira Glass on Failure and the Taste Gap — https://jamesclear.com/ira-glass-failure

---

이 글은 생성형 AI의 도움을 받아 작성되었습니다. 원본 자료를 기반으로 AI가 초안을 생성하고, 작성자가 검토·편집하였습니다.