AI製品は失敗事例から読んでください — 改善リストとプレモーテムで設計する(2)
失敗事例から抜き出した原因文は、設計表と会議に移してはじめて役に立ちます。一度サービスを止め、改善して再リリースした韓国のチャットボット「イ・ルダ」2.0の変更リストをチェック表に取り込む方法、ゲイリー・クラインがハーバード・ビジネス・レビューで紹介したプレモーテムの進め方、そして半日で失敗分析を終える6段階の実行手順を整理しました。
他社の失敗から原因を抜き出したら、次はそれを自社の設計に移す番です。 最も価値のある素材は、一度つまずき、改善して再び立ち上がった企業の変更リストです。
原因文の次にやること
前回は、撤退したAIサービスを集め、事例ごとに「何が原因で撤退したのか」を一文にまとめる方法を扱いました。学習素材が現場のデータではなかった、予測誤差を自社資産で抱え込む構造だった、使う人が試す前に全面導入を先に決めた、といった文です。
こうした文は、読んで終わりにすれば教訓にとどまります。設計表の一行と、会議での一つの問いに変わってこそ、実際に自社製品を変えます。今回はその移し替えの過程を扱います。
原則3. 再び立ち上がった事例から「改善リスト」を持ってきてください
失敗事例の中で最も価値があるのは、一度撤退し、改善して再リリースした事例です。何を直したかが、そのままチェックリストになるからです。

韓国のAIチャットボット「イ・ルダ(Lee Luda)」が代表例です。2020年12月に公開されたイ・ルダ1.0は、利用者によるセクハラ発言やチャットボットのヘイト発言をめぐる論争の中で、3週間でサービスを停止しました。開発会社は約9か月のベータテストを経て2022年10月にイ・ルダ2.0を正式リリースしましたが、Etodayの報道(韓国語)によると、このとき変えた内容は次のとおりです。
- 学習データから名前やメールアドレスなどを削除またはランダムに置き換えて仮名化した
- 既存の文を取り出して使う代わりに、生成モデルが新たに文をつくるようにした
- 不正利用の検知モデルを導入し、安全な発話の比率の目標を99%に設定して99.56%を達成した
- 異常な会話を試みる利用者に不利益を与える仕組みを導入した
このリストは、対話型AIサービスを企画する企業なら、リリース前のチェック表としてそのまま使えます。他社が高い代償を払って得たリストを無料で持ってくるようなものです。自社の分野に再び立ち上がった事例がなければ、似た事故を経験した後に企業が発表した改善のお知らせや、監督機関の是正要求の内容を探してみてください。直した項目が書かれた文書なら、何でも同じように使えます。
原則4. 自社の失敗を先に書いてみてください
他社の失敗を読み終えたら、最後は自社の失敗を先に書いてみる番です。認知心理学者ゲイリー・クラインが2007年にハーバード・ビジネス・レビューで紹介したプレモーテムが、この作業に合った道具です。
方法は簡単です。プロジェクトのキックオフ会議で「1年後、このプロジェクトが完全に失敗したとしましょう。なぜ失敗したのでしょうか」と問い、参加者それぞれに数分間理由を書いてもらってから、一人ずつ順番に発表してもらいます。「何がうまくいかない可能性があるか」ではなく「何がまずかったのか」と問うのがポイントです。すでに起きたことだと仮定すると、普段は場の空気を壊すのを恐れて言い出せなかった懸念が、ずっと出やすくなります。
ここに前回集めた原因文のリストを横に置くと、答えが具体的になります。「顧客が使わなかった」のような漠然とした答えではなく、「学習データが自社現場の写真ではなかった」「予測が外れたときの損失を自社で抱え込んだ」といった文が出てきます。経営陣がこの会議に入るべき理由もここにあります。それらの文のいくつかは技術ではなく事業構造の問題であり、それは経営陣にしか直せません。
進行するときに守ることはいくつかだけです。理由は口に出す前に、まず各自が紙に書くようにしてください。役職の高い人の意見が先に出ると、残りの答えがそちらに引き寄せられます。発表は一人一つずつ順番に行い、出てきた理由は評価せずにすべて書き留めます。会議が終わったら、そのリストを設計表の左列と照らし合わせ、新しく出た理由を一行ずつ足していきます。

実行手順:半日あれば十分です
失敗分析に大きな予算は要りません。AI検索ツールを使えば、事例の収集と整理は半日で終わります。ただし、判断は人がしなければなりません。
- 事例を10〜20件集めてください。自社のアイデアに似た製品名に「サービス終了」「撤退」「shut down」「discontinued」を付けて検索します。AI関連の事故や失敗を集めたAI Incident Databaseもよい出発点です。
- 事例ごとに4つの欄を埋めてください。いつ始めたか、いつ撤退したか、企業が明かした理由、外部が分析した理由。一次情報を優先し、出典が見つからない理由は書きません。
- 原因を4〜5つの文にまとめてください。似た理由どうしをまとめると、たいてい4つか5つに絞られます。
- 設計表をつくってください。左列に「崩れた箇所」、右列に「自社はこう避ける」を書きます。右列を埋められなかった行は消さずに、残るリスクとして移しておきます。
- プレモーテムを開いてください。設計表を横に置き、「1年後に失敗したとしたら、なぜか」を問います。
- 残るリスクを経営陣への報告に入れてください。避けられないリスクを知ったうえで始めるのと、知らずに始めるのとでは違います。
4段階目の設計表はこのような形です。前回抜き出した原因文を左列に移し、右列は自社の状況に合わせて埋めます。下の右列は、埋め方を示す例です。
| 崩れた箇所(原因文) | 自社はこう避ける(例) |
|---|---|
| 学習素材が現場のデータではなかった | 自社の現場で集めたデータで学習・テストする |
| 予測誤差を自社資産で直接抱え込む構造だった | 予測が外れたときに負う損失の上限を先に決める |
| 使う人が十分に試す前に、全面導入を先に決めた | まず1チームで試してから広げる |
| 右列を埋められなかった行 | 消さずに残るリスクとして移し、経営陣への報告に入れる |
この表は外部の業者と組むときにも役立ちます。業者が見せる成功事例だけを聞くのではなく、自社の設計表の左列を見せて「この箇所はどう避けますか」と尋ねてみてください。業者の説明を見極める方法はAIベンダーのマーケティングの読み解き方で詳しく扱いました。つくった後に結果をどう検証するかは、AIがつくったものをどう検証しますかもあわせてご覧ください。
まとめ
失敗事例を集めて原因を一文にまとめたら、再び立ち上がった事例から改善リストを持ってきて、設計表に移し、自社の失敗を先に書いてみてください。
この過程を経てもなおやりたいアイデアなら、そこからつくり始めても遅くはありません。逆にこの過程で取りやめるアイデアなら、半日をかけて数か月と予算を節約したことになります。
このテーマを実際に試した記録は、写真で肌を読み、根拠のある成分だけを残した(韓国語)にまとめています。
連載「AI製品は失敗事例から読んでください」
- 撤退した企業から原因文を抜き出す
- 改善リストとプレモーテムで設計する(本稿)