기술 용어 없이 AI 이해하기

"그래서 그 AI가 정확히 뭘 하는 건데요?" 이 질문에 기술 용어 없이 답할 수 있어야, 제대로 이해한 겁니다.

기술을 몰라도 판단은 해야 한다

AI 프로젝트의 의사결정자 — 대표, 임원, 팀장 — 에게 가장 불편한 순간이 있습니다. 기술팀이 설명하는데, 단어는 들리지만 의미를 모르는 순간.

"LLM 기반으로 RAG를 적용하고, 필요하면 파인튜닝을 합니다."

고개를 끄덕이지만 머릿속은 하얗습니다. 그리고 이 상태로 예산을 승인하거나, 벤더를 선정하거나, 프로젝트 방향을 결정합니다.

이건 위험합니다. 기술을 직접 만들 필요는 없지만, 무엇을 하는 건지는 이해해야 합니다. 그래야 올바른 질문을 할 수 있고, 잘못된 제안을 걸러낼 수 있습니다.

이 글에서는 AI 프로젝트에서 가장 자주 등장하는 개념들을 기술 용어 없이 설명합니다.

대규모 언어 모델 — 아주 많이 읽은 신입 사원

ChatGPT, Claude 같은 AI의 핵심인 대규모 언어 모델(LLM)은, 비유하자면 인터넷에 있는 거의 모든 글을 읽은 신입 사원입니다.

이 신입은 놀라운 능력이 있습니다. 어떤 주제든 그럴듯하게 이야기할 수 있고, 글을 요약하고, 번역하고, 심지어 코드도 짭니다. 수천 권의 책과 수억 개의 문서를 읽었으니까요.

하지만 결정적인 한계가 있습니다.

우리 회사의 내부 문서는 읽은 적이 없습니다. 인터넷에 공개된 일반 지식은 풍부하지만, 우리 제품의 스펙, 우리 고객의 이력, 우리 팀의 프로세스는 모릅니다.

읽은 것과 아는 것은 다릅니다. 많이 읽었지만, 그 중 무엇이 정확하고 무엇이 틀렸는지 판단하지 못합니다. 그래서 가끔 매우 자신감 있는 목소리로 틀린 답을 합니다. 이걸 "환각(hallucination)"이라고 부릅니다.

어제 일어난 일을 모릅니다. 학습은 특정 시점까지만 되어 있어서, 최신 정보에 약합니다.

그래서 이 신입을 실무에 바로 투입하면 문제가 생깁니다. 추가적인 장치가 필요합니다.

RAG — 신입에게 참고 자료를 쥐여주는 것

RAG(검색 증강 생성)는 복잡해 보이지만, 본질은 간단합니다.

신입 사원에게 답하기 전에 관련 문서를 먼저 찾아 읽게 하는 것입니다.

"우리 회사 환불 정책이 뭐야?"라고 물으면, AI가 바로 답하는 대신, 먼저 사내 문서에서 환불 정책 관련 내용을 검색합니다. 검색된 문서를 참고해서 답변을 만듭니다.

이렇게 하면 두 가지가 좋아집니다.

정확도가 올라갑니다. 자기 머릿속 일반 지식이 아니라, 실제 문서에 근거해서 답하니까요.

출처를 확인할 수 있습니다. "이 답변은 환불 정책 문서 3페이지에 근거합니다"라고 말해줄 수 있어서, 사람이 검증하기 쉬워집니다.

단, 한계도 있습니다. 문서가 엉망이면 검색 결과도 엉망이고, 결국 답변도 엉망입니다. AI의 성능은 올려주지만, 문서의 품질을 대신 높여주지는 않습니다.

의사결정자가 물어야 할 질문: "AI에게 참고하라고 줄 문서가 우리에게 잘 정리되어 있는가?"

파인튜닝 — 신입을 우리 회사 방식으로 재교육하는 것

파인튜닝은 범용 AI를 우리 목적에 맞게 추가 훈련시키는 것입니다.

비유를 이어가면, 신입 사원이 일반적인 비즈니스 지식은 풍부하지만, 우리 업계의 전문 용어나 우리 회사의 톤앤매너에 맞게 글을 쓰지는 못합니다. 파인튜닝은 이 신입에게 "우리 회사에서는 이렇게 일한다"를 반복 학습시키는 과정입니다.

예를 들어, 고객 응대 AI를 만든다면, 우리 회사의 과거 상담 기록 수천 건을 학습시켜서 우리 톤으로 답하게 만듭니다.

하지만 파인튜닝은 비용과 시간이 많이 듭니다. 그리고 데이터가 충분해야 효과가 있습니다. 그래서 현실적인 순서는 이렇습니다:

1단계: 범용 AI를 그냥 써본다 (비용: 거의 0)

2단계: RAG로 우리 문서를 참고하게 한다 (비용: 낮음~중간)

3단계: 그래도 부족하면 파인튜닝을 검토한다 (비용: 높음)

대부분의 기업은 2단계에서 충분한 효과를 얻습니다. 3단계가 필요한 경우는 생각보다 드뭅니다.

의사결정자가 물어야 할 질문: "파인튜닝이 정말 필요한가, 아니면 RAG로 충분한가?"

AI 에이전트 — 신입에게 업무 권한을 주는 것

최근 가장 많이 들리는 개념입니다. AI 에이전트는 단순히 질문에 답하는 것을 넘어, 스스로 판단하고 행동하는 AI입니다.

지금까지의 AI가 "물어보면 답하는 상담원"이라면, 에이전트는 "업무를 맡기면 알아서 처리하는 실무자"에 가깝습니다.

예를 들어, "다음 주 미팅 일정을 잡아줘"라고 하면, 에이전트는 참석자들의 캘린더를 확인하고, 비어 있는 시간을 찾고, 회의 초대를 보내고, 필요한 자료를 첨부합니다. 사람이 각 단계를 지시할 필요 없이, 전체 프로세스를 자율적으로 수행합니다.

강력하지만, 리스크도 큽니다. 판단을 잘못하면 행동까지 잘못합니다. 잘못된 메일을 보내거나, 엉뚱한 주문을 넣거나, 민감한 데이터를 외부에 전달할 수 있습니다.

그래서 에이전트 도입 시 핵심은 기술이 아니라 권한 설계입니다. 이 에이전트가 스스로 할 수 있는 범위와, 반드시 사람의 승인을 받아야 하는 범위를 명확히 정해야 합니다.

의사결정자가 물어야 할 질문: "이 에이전트가 혼자 결정해도 되는 범위가 어디까지인가?"

네 가지 개념의 관계

정리하면 이렇습니다.

LLM(대규모 언어 모델): 많이 읽은 범용 인재. 기본 엔진입니다.

RAG(검색 증강 생성): 그 인재에게 우리 자료를 참고하게 하는 장치. 가장 흔하고 실용적인 커스터마이징.

파인튜닝: 그 인재를 우리 회사 방식으로 재교육. 필요할 때만, 신중하게.

에이전트: 그 인재에게 실행 권한까지 주는 것. 가장 강력하지만 가장 주의가 필요.

대부분의 AI 프로젝트는 LLM + RAG 조합에서 시작합니다. 여기서 충분한 가치를 확인한 뒤, 필요에 따라 파인튜닝이나 에이전트로 확장하는 것이 현실적인 경로입니다.

기술 용어를 아는 것이 아니라, 질문을 아는 것

이 글을 읽고 나면, LLM이 무엇이고 RAG가 무엇인지 기술적으로 설명할 수 있을 필요는 없습니다. 대신, 기술팀이나 벤더가 이 용어를 꺼냈을 때 올바른 질문을 할 수 있으면 됩니다.

"LLM을 씁니다" → "어떤 모델이고, 환각 문제는 어떻게 관리하나요?" "RAG를 적용합니다" → "우리 문서 상태가 이걸 지원할 수준인가요?" "파인튜닝이 필요합니다" → "RAG로는 안 되는 건가요? 데이터는 충분한가요?" "에이전트를 만듭니다" → "자율 실행 범위와 사람 승인 범위가 어떻게 나뉘나요?"

기술을 이해하는 것이 아니라, 기술에 대해 판단하는 것. 그것이 의사결정자의 AI 리터러시입니다.