AI가 안 되는 일 — 기대를 접어야 할 때를 아는 법
기대가 높아질수록 이것도 AI로 안 되냐는 말이 늘어납니다. 때로는 됩니다. 하지만 때로는 안 하는 게 정답입니다. AI가 답이 아닌 경우를 정확히 아는 것은 AI를 잘 쓰는 것만큼 중요합니다. AI가 구조적으로 못하는 다섯 가지와 기대치를 조정하는 방법을 다룹니다. 한계를 아는 것도 실력입니다.
AI에 대해 가장 현명한 질문은 "무엇을 할 수 있나?"가 아니라 "무엇을 시키면 안 되나?"입니다.
모든 문제에 AI를 꺼내는 사람들
AI에 대한 기대가 높아질수록, 이런 대화가 늘어납니다.
"이것도 AI로 하면 안 되나요?"
때로는 됩니다. 하지만 때로는 안 하는 게 정답입니다.
첫 번째 글에서 우리는 "AI로 무엇을 할 수 있는가"를 물었습니다. 26편의 글을 거쳐 이제 반대편 질문을 합니다. AI가 답이 아닌 경우를 정확히 아는 것이, AI를 잘 쓰는 것만큼 중요합니다.
AI가 구조적으로 못하는 다섯 가지
1. 데이터가 없는 판단AI는 패턴을 찾는 기계입니다. 패턴이 있으려면 과거 데이터가 있어야 합니다. 전례가 없는 결정, 처음 진입하는 시장, 한 번도 해보지 않은 사업 — 여기에 AI가 줄 수 있는 답은 "비슷한 것"의 유추일 뿐, 판단이 아닙니다.
2. 이해관계 조정부서 간 갈등, 파트너사 협상, 고객 불만의 감정 처리. 이것은 "최적의 답"이 아니라 "모두가 받아들일 수 있는 답"을 찾는 일입니다. AI는 최적화는 잘하지만, 양보와 타협의 구조를 설계하는 건 사람의 일입니다.
3. 책임이 필요한 최종 결정AI가 "이 환자는 수술이 필요합니다"라고 말할 수 없는 이유는, 정확도 문제가 아닙니다. 그 결정에 대한 책임을 질 수 없기 때문입니다. 채용, 해고, 투자, 법적 판단 — 누군가가 서명해야 하는 결정은 AI의 영역이 아닙니다.
2024년 캐나다에서는 항공사 챗봇이 유족 할인 규정을 잘못 안내한 일이 분쟁으로 이어졌습니다. 항공사는 챗봇이 스스로 책임지는 별개의 법적 주체라고 주장했지만, 재판부는 웹사이트의 모든 정보는 챗봇이 말했든 정적 페이지에 적혀 있든 회사 책임이라며 배상을 명령했습니다(CBC 보도). AI가 대답은 할 수 있어도, 그 대답의 책임은 결국 회사가 집니다.
4. 맥락이 매번 완전히 다른 일고도로 개인화된 컨설팅, 예술적 창작, 정치적 판단. 과거 사례가 참고는 되지만 복제할 수 없는 일. AI는 반복에서 강하고, 매번 새로운 것에서 약합니다.
5. 신뢰가 본질인 관계고객이 담당자를 "믿기 때문에" 계약을 유지하는 상황. 환자가 의사를 "신뢰하기 때문에" 치료를 따르는 상황. 이 관계를 AI로 대체하면, 결과의 질과 관계없이 신뢰 자체가 무너집니다.
국내에도 사례가 있습니다. 2021년 개인정보보호위원회는 챗봇 이루다 개발사가 자사 앱 이용자 약 60만 명의 카카오톡 대화 94억여 건을 명시적 동의 없이 AI 개발에 활용했다며 총 1억 330만원의 과징금과 과태료를 부과했습니다. AI 기술 기업의 개인정보 처리를 제재한 첫 사례였습니다(개인정보위 보도자료, 경향신문). 고객이 믿고 맡긴 데이터를 AI에 넣는 순간, 기술의 성능과 관계없이 신뢰가 먼저 무너질 수 있습니다.
"안 하는 게 낫다"의 세 가지 신호
구조적 한계와 별개로, 도입하지 않는 것이 더 현명한 상황이 있습니다.
신호 1: 문제가 충분히 반복되지 않는다.AI는 반복에서 수익을 냅니다. 월 5건 발생하는 일을 자동화하면, 구축 비용을 회수할 수 없습니다. 견적서 편에서 다뤘듯, AI 프로젝트에는 초기 비용이 있습니다. 반복 횟수가 그 비용을 정당화하는지 먼저 계산하세요.
신호 2: 오류의 비용이 극단적으로 크다.AI의 정확도가 99%라 해도, 나머지 1%가 재앙이라면 도입할 수 없습니다. 의약품 라벨 확인, 법률 문서의 최종 검토, 안전 장비의 판정. 이런 영역에서 AI는 보조일 수 있지만, 단독 판단자가 되면 안 됩니다.
실제로 2023년 미국 연방법원은 ChatGPT가 만들어 낸 존재하지 않는 판례를 검증 없이 제출한 변호사들에게 5,000달러의 제재금을 부과했습니다. 판결문은 AI를 보조 도구로 쓰는 것 자체는 문제가 아니지만, 제출물의 정확성을 확인할 책임은 여전히 사람에게 있다고 밝혔습니다(판결문 원문).
신호 3: 이미 사람이 충분히 잘하고 있다.모든 업무를 AI로 바꿔야 한다는 강박은 필요 없습니다. 사람이 10분 걸리는 일을 AI가 8분에 해준다면, 그 2분을 위해 시스템을 구축하고 유지할 이유가 있나요? 문제 정의의 출발점을 다시 떠올리세요 — "충분히 크고, 반복적이며, 현재 방식이 고통스러운" 문제만이 AI의 대상입니다.
기대치를 조정하는 대화법
경영진이든 팀원이든, "AI로 하면 되지 않나?"라는 질문에 이렇게 답할 수 있습니다.
"됩니다. 단, 이 조건이 필요합니다." — 데이터 확보, 정확도 검증, 예외 처리 등 현실적 전제를 명시.
"보조는 가능하지만, 최종 판단은 사람이 해야 합니다." — AI의 역할 범위를 구분.
"지금은 아닙니다. 이 조건이 갖춰지면 가능합니다." — 거절이 아닌 로드맵으로.
"이 문제는 AI보다 프로세스 개선이 먼저입니다." — 도구 탐색 편에서 다뤘듯, AI만이 도구가 아닙니다. 때로는 팀이 결정과 맥락을 기록으로 남기는 것만으로 문제가 풀립니다. 우리 기록형 AI 업무법 시리즈에서 다룬 접근이 그렇습니다.
AI를 잘 쓴다는 것의 의미
AI 도입 전 체크리스트의 첫 질문이 "해결할 문제가 명확한가?"였습니다. 마지막 질문도 같습니다.
AI를 잘 쓰는 조직은, AI를 많이 쓰는 조직이 아닙니다. 어디에 쓰고 어디에 쓰지 않을지를 구분하는 조직입니다.
"이건 AI가 아니라 사람이 해야 합니다." 이 판단을 내릴 수 있는 사람이, 사실은 AI를 가장 잘 이해하고 있는 사람입니다.
도구의 한계를 아는 사람이, 도구를 가장 잘 씁니다.