AI가 자신 있게 틀릴 때 — 환각을 다루는 법
AI가 그럴듯하게 틀린 답을 내는 '환각'은 왜 생기고, 업무에서 이걸 어떻게 걸러내고 안전하게 쓰는지 — 출처 요구, 사람 검수선, 낮은 위험 업무까지 실무 기준을 정리합니다.
AI는 모른다고 말하는 법을 잘 모릅니다. 모를 때조차, 그럴듯하게 지어냅니다.
자신 있게, 틀린다
AI에게 물으면 막힘없이 답이 나옵니다. 문장은 매끄럽고, 말투는 확신에 차 있습니다. 그런데 가끔, 그 답이 완전히 지어낸 것일 때가 있습니다.
없는 통계를 만들고, 존재하지 않는 논문을 인용하고, 겪지 않은 사실을 술술 풀어놓습니다. 문제는 틀렸다는 티가 안 난다는 데 있습니다. 맞는 답과 똑같이 자신 있게 말하니까요.
이걸 환각(hallucination)이라고 부릅니다.
고장이 아니라, 원리다
환각을 버그로 오해하면 대응을 그르칩니다. 이건 AI가 답을 만드는 방식 그 자체에서 나옵니다.
AI는 사실을 '조회'하지 않습니다. 다음에 올 그럴듯한 말을 이어 붙일 뿐입니다. 대부분은 그 그럴듯함이 사실과 맞아떨어지지만, 어긋나는 순간 매끄럽게 틀린 답이 나옵니다.
그래서 AI는 "모르겠습니다"라고 말하는 데 서툽니다. 빈칸을 두기보다 채워 넣도록 만들어졌기 때문입니다.
어디서 위험한가
환각이 다 같은 무게는 아닙니다. 위험한 자리는 정해져 있습니다.
- 숫자와 통계 — 그럴듯한 수치를 지어내기 쉽습니다.
- 출처와 인용 — 없는 논문·판례·기사를 만들어 냅니다.
- 법·의료·회계 — 틀리면 대가가 큰 영역입니다.
- 최신 정보 — 학습 시점 이후의 일은 특히 약합니다.
반대로 초안 쓰기, 아이디어 내기, 요약처럼 사람이 곧바로 검토하는 일에서는 위험이 훨씬 작습니다.
없애는 게 아니라, 관리하는 것
환각을 100% 없앨 수는 없습니다. AI가 안 되는 일이 있듯, 이것도 기대를 정확히 잡는 데서 시작합니다. 핵심은 틀려도 사고로 번지지 않는 구조를 짜는 것입니다.
1. 검증 가능한 일에 쓰라 — 답이 맞는지 사람이 곧바로 확인할 수 있는 업무에 먼저 씁니다. 확인할 길이 없는 일에 맡기지 않습니다.
2. 출처를 요구하라 — "근거와 출처를 함께 달아 줘"라고 시키세요. 지어낸 답은 출처를 확인하는 순간 무너집니다. 실제 데이터에 연결해 답하게 하면(시스템 연동) 근거가 생깁니다.
3. 사람의 검수선을 둬라 — 밖으로 나가는 문서, 고객에게 가는 답, 되돌리기 어려운 결정은 사람이 통과시킨 뒤 내보냅니다.
4. 규칙으로 정하라 — "AI 답은 반드시 확인 후 사용"을 AI 사용 정책에 못 박아 두세요. 개인의 조심성에 맡기면 언젠가 새어 나갑니다.
의심하되, 버리지 마라
환각이 무섭다고 AI를 손에서 놓을 필요는 없습니다. 계산기도 잘못 누르면 틀린 답을 내지만, 우리는 계산기를 버리지 않습니다. 쓰는 법을 알 뿐입니다.
AI도 같습니다. 매끄러운 답 앞에서 한 번 더 묻는 습관 — "이거, 확인해 봤나요?" — 그 한 문장이 환각을 사고와 갈라놓습니다.