AI가 자신 있게 틀릴 때 — 환각을 다루는 법

AI는 없는 통계를 만들고 존재하지 않는 논문을 인용하면서도, 맞는 답과 똑같이 자신 있게 말합니다. 환각은 버그가 아니라 AI가 답을 만드는 방식 그 자체에서 나옵니다. 왜 생기는지, 그리고 출처 요구와 사람 검수선, 낮은 위험 업무 배치까지 업무에서 이걸 걸러내고 안전하게 쓰는 실무 기준을 정리합니다.

AXAI 전환환각AI 신뢰성리스크 관리

AI는 모른다고 말하는 법을 잘 모릅니다. 모를 때조차, 그럴듯하게 지어냅니다.

자신 있게, 틀린다

AI에게 물으면 막힘없이 답이 나옵니다. 문장은 매끄럽고, 말투는 확신에 차 있습니다. 그런데 가끔, 그 답이 완전히 지어낸 것일 때가 있습니다.

없는 통계를 만들고, 존재하지 않는 논문을 인용하고, 겪지 않은 사실을 술술 풀어놓습니다. 문제는 틀렸다는 티가 안 난다는 데 있습니다. 맞는 답과 똑같이 자신 있게 말하니까요.

이걸 환각(hallucination)이라고 부릅니다.

고장이 아니라, 원리다

환각을 버그로 오해하면 대응을 그르칩니다. 이건 AI가 답을 만드는 방식 그 자체에서 나옵니다.

AI는 사실을 '조회'하지 않습니다. 다음에 올 그럴듯한 말을 이어 붙일 뿐입니다. 대부분은 그 그럴듯함이 사실과 맞아떨어지지만, 어긋나는 순간 매끄럽게 틀린 답이 나옵니다.

그래서 AI는 "모르겠습니다"라고 말하는 데 서툽니다. 빈칸을 두기보다 채워 넣도록 만들어졌기 때문입니다.

OpenAI·조지아공대 연구진이 2025년 9월 공개한 논문 「Why Language Models Hallucinate」도 같은 진단을 내립니다. 지금의 학습·평가 방식이 불확실성을 인정하는 것보다 추측하는 쪽에 점수를 더 주기 때문에, 언어 모델이 시험 잘 보는 학생처럼 모를 때도 찍도록 최적화된다는 설명입니다.

어디서 위험한가

환각이 다 같은 무게는 아닙니다. 위험한 자리는 정해져 있습니다.

  • 숫자와 통계 — 그럴듯한 수치를 지어내기 쉽습니다.
  • 출처와 인용 — 없는 논문·판례·기사를 만들어 냅니다.
  • 법·의료·회계 — 틀리면 대가가 큰 영역입니다.
  • 최신 정보 — 학습 시점 이후의 일은 특히 약합니다.

출처 환각이 실제 비용으로 이어진 사례도 있습니다. 2025년 10월 가디언 보도에 따르면 딜로이트는 호주 고용노동관계부(DEWR)에 제출한 44만 호주달러 규모 보고서에서 존재하지 않는 참고문헌과 인용이 발견된 뒤, 생성형 AI(Azure OpenAI GPT-4o) 활용 사실을 부록에 추가하고 계약 대금 일부를 환불하기로 했습니다.

반대로 초안 쓰기, 아이디어 내기, 요약처럼 사람이 곧바로 검토하는 일에서는 위험이 훨씬 작습니다.

없애는 게 아니라, 관리하는 것

환각을 100% 없앨 수는 없습니다. AI가 안 되는 일이 있듯, 이것도 기대를 정확히 잡는 데서 시작합니다. 핵심은 틀려도 사고로 번지지 않는 구조를 짜는 것입니다.

1. 검증 가능한 일에 쓰라 — 답이 맞는지 사람이 곧바로 확인할 수 있는 업무에 먼저 씁니다. 확인할 길이 없는 일에 맡기지 않습니다.

2. 출처를 요구하라 — "근거와 출처를 함께 달아 줘"라고 시키세요. 지어낸 답은 출처를 확인하는 순간 무너집니다. 실제 데이터에 연결해 답하게 하면(시스템 연동) 근거가 생깁니다. 답하기 전에 실제 문서를 끌어와 근거로 삼는 방식은 검색증강생성(RAG) 연구로 잘 알려져 있습니다.

3. 사람의 검수선을 둬라 — 밖으로 나가는 문서, 고객에게 가는 답, 되돌리기 어려운 결정은 사람이 통과시킨 뒤 내보냅니다.

4. 규칙으로 정하라 — "AI 답은 반드시 확인 후 사용"을 AI 사용 정책에 못 박아 두세요. 개인의 조심성에 맡기면 언젠가 새어 나갑니다.

국내 법원도 이 방향으로 움직이고 있습니다. 법률신문 보도에 따르면 법원행정처는 2026년 3월 'AI 활용 허위 주장·증거 제출 대응 TF' 결과를 발표하며, AI로 허위 법령·판례를 인용해 소송을 지연시키면 소송비용을 부담시킬 수 있고 변호사가 검증 없이 인용하면 대한변협에 징계를 의뢰할 수 있다고 밝혔습니다. AI 활용 사실을 고지하고 인용 법령이 정확한지 확인하도록 하는 민사소송규칙 개정도 함께 제안했습니다.

의심하되, 버리지 마라

환각이 무섭다고 AI를 손에서 놓을 필요는 없습니다. 계산기도 잘못 누르면 틀린 답을 내지만, 우리는 계산기를 버리지 않습니다. 쓰는 법을 알 뿐입니다.

AI도 같습니다. 매끄러운 답 앞에서 한 번 더 묻는 습관 — "이거, 확인해 봤나요?" — 그 한 문장이 환각을 사고와 갈라놓습니다.