AI 제품, 실패 사례부터 읽으십시오 — 고친 목록과 프리모템으로 설계하기 (2)

실패 사례에서 뽑은 원인 문장은 설계표와 회의로 옮겨야 쓸모가 생깁니다. 한 번 접었다가 고쳐서 다시 내놓은 이루다 2.0의 변경 목록을 점검표로 가져오는 법, 게리 클라인이 하버드 비즈니스 리뷰에 소개한 프리모템 진행법, 그리고 반나절 만에 실패 해부를 끝내는 여섯 단계 실행 순서를 정리했습니다.

AXAI 전환프리모템제품 기획

남의 실패에서 원인을 뽑았다면, 이제 그것을 우리 설계에 옮길 차례입니다. 가장 값진 재료는 한 번 넘어졌다가 고쳐서 다시 일어선 회사의 변경 목록입니다.

원인 문장 다음에 할 일

앞 편에서는 접은 AI 서비스들을 모아 사례마다 "무엇 때문에 접었는가"를 한 문장으로 줄이는 법을 다뤘습니다. 학습 재료가 현장 데이터가 아니었다, 예측 오차를 회사 자산으로 떠안는 구조였다, 쓸 사람이 써 보기 전에 전면 도입부터 정했다 같은 문장들입니다.

이 문장들은 읽고 끝내면 교훈에 머뭅니다. 설계표의 한 줄과 회의의 한 질문으로 바뀌어야 실제로 우리 제품을 바꿉니다. 이번 편은 그 옮기는 과정을 다룹니다.

원칙 3. 다시 일어선 사례에서 '고친 목록'을 가져오십시오

실패 사례 가운데 가장 값진 것은 한 번 접었다가 고쳐서 다시 내놓은 사례입니다. 무엇을 고쳤는지가 그대로 체크리스트가 되기 때문입니다.

이루다 타임라인. 2020년 12월 1.0을 공개했다가 3주 만에 서비스를 멈췄고, 약 9개월의 베타 테스트를 거쳐 2022년 10월 2.0을 정식 출시했다.
이루다 1.0 중단부터 2.0 정식 출시까지. 출처: 이투데이, 2022

국내 AI 챗봇 이루다가 대표적입니다. 2020년 12월 공개된 이루다 1.0은 이용자들의 성희롱 발언과 챗봇의 혐오 발언 논란 속에 3주 만에 서비스를 멈췄습니다. 개발사는 약 9개월의 베타 테스트를 거쳐 2022년 10월 이루다 2.0을 정식 출시했는데, 이투데이 보도에 따르면 이때 바꾼 내용은 이렇습니다.

  • 학습 데이터에서 이름·이메일 등을 지우거나 무작위로 바꿔 가명화했다
  • 기존 문장을 꺼내 쓰는 대신 생성 모델이 문장을 새로 만들게 했다
  • 어뷰징 탐지 모델을 붙이고 안전 발화 비율 목표를 99%로 잡아 99.56%를 달성했다
  • 비정상적인 대화를 시도하는 이용자에게 불이익을 주는 제도를 넣었다

이 목록은 대화형 AI 서비스를 기획하는 회사라면 출시 전에 그대로 점검표로 써도 됩니다. 남이 비싼 값을 치르고 얻은 목록을 공짜로 가져오는 셈입니다. 우리 분야에 다시 일어선 사례가 없다면, 비슷한 사고를 겪은 뒤 회사가 발표한 개선 공지나 감독기관의 시정 요구 내용을 찾아보십시오. 고친 항목이 적힌 문서라면 무엇이든 같은 쓰임새가 있습니다.

원칙 4. 우리 실패를 미리 써 보십시오

남의 실패를 다 읽었다면 마지막으로 우리 실패를 미리 써 볼 차례입니다. 인지심리학자 게리 클라인이 2007년 하버드 비즈니스 리뷰에 소개한 프리모템이 이 일에 맞는 도구입니다.

방법은 간단합니다. 프로젝트 착수 회의에서 "1년 뒤 이 프로젝트가 완전히 실패했다고 합시다. 왜 실패했을까요?"라고 묻고, 참석자 각자 몇 분 동안 이유를 적게 한 뒤 한 사람씩 돌아가며 발표합니다. "무엇이 잘못될 수 있을까"가 아니라 "무엇이 잘못됐나"로 묻는 것이 핵심입니다. 이미 일어난 일로 가정하면 평소에는 분위기를 깰까 봐 꺼내지 못하던 우려가 훨씬 쉽게 나옵니다.

여기에 앞 편에서 모은 원인 문장 목록을 옆에 두면 답이 구체적으로 바뀝니다. "고객이 안 썼다" 같은 막연한 답 대신 "학습 데이터가 우리 현장 사진이 아니었다", "예측이 틀렸을 때 손실을 우리가 떠안았다" 같은 문장이 나옵니다. 경영진이 이 회의에 들어가야 하는 이유도 여기에 있습니다. 그 문장들 가운데 몇 개는 기술 문제가 아니라 사업 구조의 문제이고, 그건 경영진만 고칠 수 있습니다.

진행할 때 몇 가지만 지키면 됩니다. 이유는 말로 꺼내기 전에 각자 종이에 먼저 적게 하십시오. 직급이 높은 사람의 의견이 먼저 나오면 나머지 답이 그쪽으로 쏠립니다. 발표는 한 사람이 한 가지씩 돌아가며 하고, 나온 이유는 평가하지 말고 모두 적어 둡니다. 회의가 끝나면 그 목록을 설계표의 왼쪽 칸과 맞춰 보고, 새로 나온 이유를 한 줄씩 보탭니다.

프리모템은 무엇이 잘못될 수 있을까 대신 1년 뒤 완전히 실패했다면 무엇이 잘못됐나를 묻는다. 진행 순서는 이미 실패했다고 가정하고 묻기, 말하기 전에 각자 종이에 적기, 한 사람이 한 가지씩 돌아가며 발표, 평가 없이 모두 기록, 설계표 왼쪽 칸과 맞춰 새 줄 보태기의 다섯 단계다.
프리모템 진행 순서. 출처: Gary Klein, Harvard Business Review, 2007

실행 순서: 반나절이면 됩니다

실패 해부에 큰 예산은 필요 없습니다. AI 검색 도구를 쓰면 사례 수집과 정리는 반나절이면 끝납니다. 다만 판단은 사람이 해야 합니다.

  1. 사례를 10~20건 모으십시오. 우리 아이디어와 비슷한 제품 이름에 "서비스 종료", "철수", "shut down", "discontinued"를 붙여 검색합니다. AI 관련 사고와 실패를 모아 둔 AI Incident Database도 좋은 출발점입니다.
  2. 사례마다 네 칸을 채우십시오. 언제 시작했나, 언제 접었나, 회사가 밝힌 이유, 외부가 분석한 이유. 1차 출처를 우선하고, 출처를 못 찾은 이유는 적지 않습니다.
  3. 원인을 네다섯 문장으로 묶으십시오. 비슷한 이유끼리 모으면 대개 네다섯 개로 줄어듭니다.
  4. 설계표를 만드십시오. 왼쪽 칸에 "무너진 자리", 오른쪽 칸에 "우리는 이렇게 피한다"를 적습니다. 오른쪽 칸을 채우지 못한 줄은 지우지 말고 남는 위험으로 옮겨 적습니다.
  5. 프리모템을 여십시오. 설계표를 옆에 두고 "1년 뒤 실패했다면 왜인가"를 묻습니다.
  6. 남는 위험을 경영진 보고에 넣으십시오. 피할 수 없는 위험을 알고 시작하는 것과 모르고 시작하는 것은 다릅니다.

4단계의 설계표는 이런 모양입니다. 앞 편에서 뽑은 원인 문장을 왼쪽 칸에 옮기고, 오른쪽 칸은 우리 상황에 맞춰 채웁니다. 아래 오른쪽 칸은 채우는 방식을 보여 주는 예시입니다.

무너진 자리 (원인 문장)우리는 이렇게 피한다 (예시)
학습 재료가 현장 데이터가 아니었다우리 현장에서 모은 데이터로 학습하고 시험한다
예측 오차를 회사 자산으로 직접 떠안는 구조였다예측이 틀렸을 때 떠안을 손실 한도를 먼저 정한다
쓸 사람이 충분히 써 보기 전에 전면 도입부터 정했다한 팀에서 먼저 써 보고 넓힌다
오른쪽 칸을 채우지 못한 줄지우지 않고 남는 위험으로 옮겨 경영진 보고에 넣는다

이 표는 외부 업체와 일할 때도 쓸모가 있습니다. 업체가 보여 주는 성공 사례만 듣지 말고, 우리 설계표의 왼쪽 칸을 보여 주며 "이 자리는 어떻게 피하십니까"라고 물어보십시오. 업체 설명을 걸러 듣는 방법은 AI 벤더 마케팅 해독법에서 더 자세히 다뤘습니다. 만든 뒤 결과를 어떻게 검증할지는 AI가 만든 것을 어떻게 검증하십니까를 함께 보시면 좋습니다.

정리하면

실패 사례를 모으고 원인을 한 문장으로 줄였다면, 다시 일어선 사례에서 고친 목록을 가져오고, 설계표로 옮기고, 우리 실패를 미리 써 보십시오.

이 과정을 거친 뒤에도 하고 싶은 아이디어라면 그때 만들기 시작해도 늦지 않습니다. 거꾸로 이 과정에서 접게 되는 아이디어라면, 반나절을 들여 몇 달과 예산을 아낀 것입니다.

이 주제를 직접 실험해 본 기록은 사진으로 피부를 읽고, 근거 있는 성분만 남겼다에 적어 두었습니다.


「AI 제품, 실패 사례부터 읽으십시오」 연재
  1. 접은 회사들에서 원인 문장 뽑기
  2. 고친 목록과 프리모템으로 설계하기 (현재 글)

참고 자료