tf-idf
-
BM25 — AI가 도구 100개 중 3개를 정확히 찾아내는 방법IT 2026. 6. 16. 23:00
Tool Search Tool이 "build"를 검색하면 왜 build_app이 나오는가. 어떤 알고리즘이 100개 도구 카탈로그에서 관련 있는 3~5개만 골라내는가. 답은 BM25다 — 검색 엔진의 고전적 랭킹 알고리즘으로, Google 이전 시대부터 쓰인 방법이 AI 도구 검색의 핵심으로 돌아왔다. 이 글은 BM25가 어떻게 작동하는지, 왜 도구 검색에 잘 맞는지, 그리고 개발자가 여기서 어떤 설계 결정을 해야 하는지를 풀어낸다.검색의 기초 — 역색인BM25를 이해하려면 먼저 역색인(Inverted Index)을 알아야 한다. 역색인은 "어떤 단어가 어떤 문서에 있는가"를 미리 계산해 놓은 테이블이다. 일반 색인이 "문서 A에는 어떤 단어들이 있는가"를 저장한다면, 역색인은 방향을 뒤집어 "단어 X는..