AI는 진짜 얼마가 들까 — 토큰 비용의 구조

AI는 싸다고들 합니다. 어느 날 청구서를 보기 전까지는요.

"월 몇 만 원"이라는 함정

AI 견적을 받아 보면 숫자가 제각각입니다. 누구는 월 3만 원, 누구는 월 300만 원을 이야기합니다. 같은 기술인데 왜 100배가 날까요?

답은 요금제가 아니라 사용 방식에 있습니다. 그리고 그 사용 방식의 단위가 바로 토큰입니다.

AI 프로젝트 견적서 읽는 법에서 우리는 견적의 함정을 이야기했습니다. 이번엔 그 견적 밑에 깔린 진짜 원가의 구조를 봅니다.

토큰은 미터기입니다

토큰은 AI가 글을 다루는 최소 단위입니다. 단어를 더 잘게 쪼갠 조각이라고 보면 됩니다. 한국어는 대략 한 글자가 1~2토큰 정도입니다.

AI 요금은 대부분 이 토큰 수로 매겨집니다. 택시 미터기처럼, 주고받은 글의 양만큼 요금이 올라갑니다. 그래서 "얼마예요?"라는 질문의 정답은 "얼마나 쓰실 건데요?"입니다.

입력보다 출력이 비쌉니다

토큰은 두 종류입니다.

입력 토큰 — 우리가 AI에게 넣는 글 (질문, 첨부한 문서) 출력 토큰 — AI가 만들어 내는 글 (답변)

대개 출력이 입력보다 몇 배 비쌉니다. AI가 "생각해서 만들어 내는" 쪽에 더 큰 비용이 들기 때문입니다. 그래서 "긴 보고서를 써 줘" 같은 작업은, 짧은 질문 백 개보다 비쌀 수 있습니다.

왜 긴 문서를 넣으면 비쌀까

AI는 기억이 없습니다. 매번 대화할 때마다 필요한 맥락을 통째로 다시 넣어야 합니다. 이걸 컨텍스트라고 합니다.

100쪽짜리 계약서를 붙여 질문하면, 그 100쪽이 매 질문마다 입력 토큰으로 계산됩니다. 질문 열 번이면 계약서를 열 번 넣은 셈입니다. "문서가 길수록, 대화가 길수록" 비용이 눈덩이처럼 불어나는 이유입니다.

아끼는 법: 캐싱과 좁히기

다행히 줄일 방법이 있습니다.

캐싱 — 반복해서 넣는 문서를 AI가 잠시 "기억"하게 해서, 두 번째부터는 할인된 값으로 재사용합니다. 같은 자료를 계속 쓰는 업무라면 비용을 크게 낮춥니다.

좁히기 — 100쪽을 통째로 넣지 말고, 관련된 몇 쪽만 골라 넣습니다. 필요한 만큼만 주는 것이 가장 확실한 절약입니다.

진짜 위험은 '변동비'입니다

AI 비용의 무서운 점은 고정비가 아니라 변동비라는 데 있습니다. 잘 되면 될수록 많이 쓰고, 많이 쓸수록 비용이 오릅니다.

파일럿 때 월 5만 원이던 것이, 전사 도입 후 월 500만 원이 되는 일이 실제로 일어납니다. 사용자가 늘고, 각자 더 길게 쓰기 때문입니다. 그래서 월 50만 원으로 시작하는 AI에서 강조했듯, 작게 시작해 단가를 실측하는 것이 중요합니다.

중소기업을 위한 3가지 원칙

1. 대표 업무 하나로 실측하라 가장 많이 쓸 업무 하나를 한 달 돌려 보세요. "한 건당 몇 원"이 나오면, 곱하기만 하면 예산이 보입니다.

2. 사용량 상한을 걸어라 월 한도, 사용자당 한도를 설정하세요. 비용이 조용히 폭주하는 것을 막는 안전장치입니다.

3. 자체 호스팅은 규모가 커진 뒤에 사용량이 아주 많아지면 직접 모델을 돌리는 편이 쌀 수 있습니다. 하지만 그 손익분기는 생각보다 높습니다. 대부분의 중소기업에게는 빌려 쓰는 편이 여전히 저렴합니다.

비용은 통제할 수 있습니다

토큰 비용은 신비로운 것이 아닙니다. 글의 양에 매겨지는 미터기일 뿐입니다.

구조를 알면 관리할 수 있습니다. 무엇을 넣고, 얼마나 받고, 몇 번 부르는지 — 이 세 가지만 쥐고 있으면, AI 비용은 놀라움이 아니라 예측 가능한 숫자가 됩니다.