AI 제품, 실패 사례부터 읽으십시오 — 접은 회사들에서 원인 문장 뽑기 (1)

AI로 새 제품이나 서비스를 만들자는 이야기가 나오면 대개 성공 사례부터 찾습니다. 그런데 설계에 쓸 정보는 먼저 시도했다가 접은 회사들에 더 많이 남아 있습니다. RAND 보고서가 꼽은 AI 프로젝트 실패의 다섯 원인과 IBM 왓슨 포 온콜로지, 질로우 오퍼스, 휴메인 AI 핀, AI 디지털교과서 사례로 실패를 한 문장짜리 원인으로 바꾸는 법을 정리했습니다.

AXAI 전환실패 분석제품 기획

이 아이디어를 먼저 해 본 회사가 있었는지부터 물어보십시오. 있었다면 그 회사가 왜 접었는지가 우리 설계의 첫 페이지입니다.

"이건 아직 아무도 안 해 봤을 겁니다"

신사업 회의에서 AI 아이디어가 나오면 분위기가 빠르게 달아오릅니다. 사진만 찍으면 알아서 판정해 주는 앱, 상담을 대신 받아 주는 챗봇, 가격을 미리 맞히는 추천 엔진. 데모도 하루면 나옵니다. 그리고 누군가 이렇게 말합니다. "이건 아직 아무도 안 해 봤을 겁니다."

대부분은 누군가 해 봤습니다. 다만 조용히 접었을 뿐입니다. 성공한 서비스는 보도자료와 수상 기록으로 남지만, 접은 서비스는 공지 한 줄과 함께 사라집니다. 검색하면 성공 사례만 나오는 이유가 여기에 있습니다.

그래서 저희는 AI 제품 기획 상담에서 순서를 하나 바꾸시라고 권합니다. 잘된 사례를 찾기 전에, 먼저 시도했다가 접은 사례부터 모으십시오. 잘된 사례는 "할 수 있다"를 알려 주지만, 접은 사례는 "어디서 무너지는지"를 알려 줍니다. 설계에 필요한 건 뒤쪽입니다.

실패는 드물지 않습니다, 기록이 드물 뿐입니다

AI 프로젝트가 얼마나 자주 실패하는지부터 보겠습니다. 미국 싱크탱크 RAND가 2024년 발표한 보고서는 AI 프로젝트의 80% 이상이 실패한다는 추정을 인용하며, 이는 AI가 들어가지 않은 IT 프로젝트 실패율의 두 배라고 적었습니다. 연구진은 5년 이상 경력의 데이터 과학자·엔지니어 65명을 인터뷰해 실패의 근본 원인 다섯 가지를 꼽았습니다. 가장 흔한 원인은 기술이 아니라 문제를 이해하고 전달하는 단계에 있었습니다.

RAND가 꼽은 AI 프로젝트 실패의 다섯 가지 근본 원인. 가장 흔한 원인은 무엇을 풀어야 하는지 잘못 이해하거나 잘못 전달하는 것이고, 이어서 학습시킬 데이터 부족, 사용자 문제보다 최신 기술에 집중, 데이터 관리와 배포 기반 부족, AI가 풀기에 너무 어려운 문제에 적용이 있다.
AI 프로젝트 실패의 다섯 가지 근본 원인. 출처: RAND, 2024

이 다섯 가지는 남의 회사 이야기처럼 보이지만, 실제로 접은 서비스를 하나씩 뜯어보면 거의 모든 사례가 이 중 하나 이상에 걸려 있습니다. 문제는 그 사실을 우리가 만들기 전에 아느냐, 만든 뒤에 아느냐입니다.

만든 뒤에 알게 되는 과정은 실패하는 AI 프로젝트에서 다섯 단계로 정리한 적이 있습니다. 이 글은 그 앞 단계, 아직 아무것도 만들지 않았을 때 할 일을 다룹니다.

원칙 1. 실패를 '원인 문장'으로 바꾸십시오

사례를 모으기만 하면 읽을거리가 늘 뿐입니다. 사례마다 "무엇 때문에 접었는가"를 한 문장으로 적어야 설계에 쓸 수 있습니다. 두 가지 예를 보겠습니다.

IBM 왓슨 포 온콜로지. 2018년 미국 의료 전문 매체 STAT이 입수한 IBM 내부 문서에 따르면, 회사 내부 전문가와 고객들이 이 암 치료 추천 시스템에서 "안전하지 않고 부정확한 치료 권고"를 여러 차례 확인했습니다. 문서는 원인으로 학습 방식을 짚었습니다. 실제 환자 데이터 대신 소수의 가상 사례로 훈련했고, 권고가 진료 지침이나 근거보다 암 종류별 소수 전문가의 판단에 기대고 있었다는 것입니다. 원인 문장으로 줄이면 이렇습니다. "학습 재료가 현장 데이터가 아니었다."

질로우 오퍼스. 미국 부동산 플랫폼 질로우는 알고리즘으로 집값을 예측해 직접 집을 사고파는 사업을 하다가 2021년 11월 접었습니다. 질로우의 3분기 실적 발표에 따르면, 예상 매도가보다 비싸게 사들인 주택 때문에 그 분기에만 약 3억 400만 달러의 재고 평가손실을 반영했고, 인력의 약 25%를 줄이기로 했습니다. 원인 문장은 "예측 오차를 회사 자산으로 직접 떠안는 구조였다"입니다. 예측이 조금 틀리는 것은 어느 모델에나 있는 일인데, 그 오차가 곧바로 재고 손실이 되도록 사업을 짰습니다.

이렇게 원인 문장을 적어 두면 우리 기획서에 바로 질문을 던질 수 있습니다. 우리 모델의 학습 재료는 현장 데이터인가. 우리 사업에서 예측이 틀리면 그 비용은 누가 떠안는가.

접은 사례를 원인 문장 한 줄로 줄이고, 그 문장을 우리 기획서에 던질 질문으로 바꾸는 흐름. 왓슨 포 온콜로지는 학습 재료가 현장 데이터가 아니었다는 문장으로, 질로우 오퍼스는 예측 오차를 회사 자산으로 떠안는 구조였다는 문장으로 줄어든다.
사례에서 원인 문장으로, 원인 문장에서 기획서 질문으로. 출처: STAT, 2018, Zillow Group, 2021

원칙 2. 기술이 아니라 '쓰는 장면'에서 무너진 자리를 찾으십시오

접은 사례의 상당수는 기술이 아예 작동하지 않아서가 아니라, 쓰는 사람의 하루에 들어가지 못해서 무너졌습니다.

휴메인 AI 핀. 옷에 다는 AI 기기로 스마트폰을 대신하겠다던 스타트업 휴메인은 투자자에게서 2억 3천만 달러를 모았습니다. 그러나 포춘 보도에 따르면 2025년 2월 HP가 1억 1,600만 달러에 회사를 인수했고, 이미 팔린 기기는 2월 28일부터 정상 작동을 멈췄습니다. 유명 테크 리뷰어는 속도·안정성·배터리를 이유로 자신이 리뷰한 최악의 제품 가운데 하나라고 평했습니다. 스마트폰이 이미 하는 일을 더 불편하게 하는 기기였던 셈입니다.

AI 디지털교과서. 국내에서는 2025학년도 1학기부터 일부 학년의 영어·수학·정보 과목에 AI 디지털교과서가 들어갔습니다. 그러나 경향신문 보도에 따르면 채택률은 약 33%에 그쳤고 실제 접속률은 10%에도 못 미쳤으며, 시범 사용 기간 없이 서둘러 도입했다는 교사 단체의 비판이 이어졌습니다. 결국 2025년 8월 4일 국회 본회의에서 AI 디지털교과서를 교과서가 아닌 교육자료로 바꾸는 초·중등교육법 개정안이 통과됐습니다. 원인 문장으로 줄이면 "쓸 사람이 충분히 써 보기 전에 전면 도입부터 정했다"입니다.

두 사례 모두 RAND 보고서의 세 번째 원인, 사용자의 실제 문제보다 기술을 앞세운 경우에 해당합니다. 실패 사례를 읽을 때는 "이 기술이 됐나"보다 "누가, 언제, 어떤 순간에 이걸 꺼내 쓰려 했나"를 찾아 적으십시오. 그 장면이 우리 제품의 사용 장면과 겹친다면 같은 자리에서 넘어질 가능성이 큽니다.

원인 문장을 모으는 방법

이런 원인 문장은 사례 열 건에서 스무 건쯤 모이면 공통된 자리가 보이기 시작합니다. 모으는 방법은 단순합니다.

  • 우리 아이디어와 비슷한 제품 이름에 "서비스 종료", "철수", "shut down", "discontinued"를 붙여 검색합니다.
  • 회사가 직접 올린 종료 공지, 실적 발표, 감독기관 자료 같은 1차 출처를 우선합니다. 출처를 못 찾은 이유는 적지 않습니다.
  • 사례마다 언제 시작했고 언제 접었는지, 회사가 밝힌 이유와 외부가 분석한 이유를 나란히 적고, 마지막 줄에 원인 문장 하나를 씁니다.

이 글에서 본 네 사례를 이 방식으로 정리하면 이렇습니다.

사례시점밝혀진 이유원인 문장
IBM 왓슨 포 온콜로지2018년 내부 문서 보도소수의 가상 사례로 훈련, 소수 전문가 판단에 의존학습 재료가 현장 데이터가 아니었다
질로우 오퍼스2021년 11월 사업 종료 발표예상 매도가보다 비싸게 산 주택, 분기 재고 평가손실 약 3억 400만 달러예측 오차를 회사 자산으로 직접 떠안는 구조였다
휴메인 AI 핀2025년 2월 HP 인수, 기기 작동 중단속도·안정성·배터리 혹평스마트폰이 이미 하는 일을 더 불편하게 했다
AI 디지털교과서2025년 8월 교육자료로 전환채택률 약 33%, 접속률 10% 미만, 시범 기간 없는 도입쓸 사람이 충분히 써 보기 전에 전면 도입부터 정했다

AI 검색 도구를 쓰면 수집과 정리는 반나절이면 끝납니다. 다만 어떤 이유가 진짜 원인인지 고르는 판단은 사람이 해야 합니다. 착수 전에 함께 볼 다른 질문들은 AI 도입 전 체크리스트에 모아 두었습니다.

정리하면

AI 제품의 아이디어는 대부분 새롭지 않습니다. 새로울 수 있는 것은 앞선 회사들이 넘어진 자리를 알고 피해 가는 설계입니다. 그 첫걸음은 접은 사례를 모으고, 사례마다 원인을 한 문장으로 줄이고, 기술보다 쓰는 장면에서 무너진 자리를 찾는 일입니다.

다음 편에서는 이렇게 모은 원인 문장을 실제 설계표와 프리모템 회의로 옮기는 순서를 다룹니다.


「AI 제품, 실패 사례부터 읽으십시오」 연재
  1. 접은 회사들에서 원인 문장 뽑기 (현재 글)
  2. 고친 목록과 프리모템으로 설계하기

참고 자료