• AI・最新技術

AIのPoCが本番にならない理由|PoC止まりを防ぐ進め方と、合格ラインの決め方・計画書に入れる項目

AIのPoCが本番にならない理由|PoC止まりを防ぐ進め方と、合格ラインの決め方・計画書に入れる項目

「AIのPoCをやってみたが、そのあと何も決まらない」「精度はまずまずだったのに、本番に進む判断ができない」。生成AIを試す企業が増える一方で、試したところで止まってしまうケースも目立ちます。PoCにかけた費用と現場の協力が、報告書だけで終わってしまうのはもったいないことです。

この記事では、AIのPoCが本番にならない理由を、生成AIならではの事情も含めて整理し、PoC止まりを防ぐ進め方を解説します。PoCそのものの一般的な手順は別の記事にまとめているので、ここでは「なぜ止まるのか」「止めないために何を先に決めるか」に絞ってお伝えします。

この記事の結論
  • AIのPoCが止まる主な原因は、合格ラインと「合格したら何をするか」を決めずに始めることです。
  • きれいなサンプルデータだけで試すと、本番のデータで精度が落ちることに後から気づきます。
  • PoCでは精度だけでなく、業務の流れ、既存システムとの連携、本番の運用費まで確かめておく必要があります。
  • PoCの企画や現場の評価は自社で担い、評価の設計、本番に近い環境での検証、本番の構成と費用の見積もりは専門の会社と組むと進めやすくなります。
目次
  1. AIのPoCとは、「PoC止まり」とは
  2. AIのPoCが本番にならない7つの理由
  3. 生成AIのPoCで特に起きやすいこと
  4. PoC止まりを防ぐ進め方
  5. PoCの計画書に入れておきたい項目
  6. 想定ケース:問い合わせ回答の下書きをAIで作るPoC
  7. 自社でできること/専門の会社に頼んだほうがよいこと
  8. よくある質問
  9. まとめ

AIのPoCとは、「PoC止まり」とは

AIのPoC(Proof of Concept:概念実証)とは、本格的に開発・導入する前に、対象の業務でAIが実用的な精度を出せるか、効果があるかを小さな範囲で確かめる取り組みです。そして「PoC止まり」とは、PoCを実施したにもかかわらず、本番の導入にも中止にも判断がつかず、検証を繰り返したまま止まっている状態を指します。

経済産業省の「AI・データの利用に関する契約ガイドライン(AI編)」(2018年6月)は、AIの開発を「アセスメント」「PoC」「開発」「追加学習」の段階に分けて、段階ごとに次へ進むかを確かめながら進める「探索的段階型」の考え方を示しています。必要な性能が得られないとわかった場合は、次の段階に進まないという選択もできるとしています。つまり、PoCは「中止」も含めて判断するための段階であり、判断がつかないまま続くのが一番の問題です。

ガートナーは2024年7月、「2025年末までに生成AIプロジェクトの少なくとも30%がPoCの後に中止される」と予測し、その理由にデータ品質、リスク管理の不足、コストの増加、ビジネス価値の不明確さを挙げました。PoCの後で止まるのは、日本の中小企業に限った話ではありません。

AIのPoCが本番にならない7つの理由

PoCが止まる理由は、大きく次の7つに分けられます。複数が重なっていることも少なくありません。

PoC止まりの理由と起きていること

理由起きていること
1. 合格ラインがない「精度80%」が良いのか悪いのか判断できず、「もう少し試そう」が続く
2. 試したデータが本番と違う担当者が選んだきれいなデータで試したため、本番の読みにくい書類や例外で精度が落ちる
3. 業務の流れを見ていないAIの出力は良いが、誰がいつ確認し、どこに登録するかが決まっておらず、現場に入れられない
4. 既存システムとの連携を後回しにした基幹システムへの取り込みに改修が必要とわかり、費用と期間が膨らむ
5. 本番の費用を見積もっていないAPIの従量課金、運用・保守、精度改善の工数を足すと、効果に見合わないとわかる
6. セキュリティの確認が後になった本番データを外部のAIサービスに送ってよいかの社内確認で止まる
7. 判断する人がいない担当者任せで進み、決裁者が結果を見ていない。現場も「やらされ感」がある
よくある状況をもとに整理したものです。

生成AIのPoCで特に起きやすいこと

従来の機械学習のPoCでは、学習用のデータを集めることが大きな山でした。生成AIでは、既存のAIモデルをすぐに使えるため、「とりあえず動くもの」が数日で作れてしまうという特徴があります。その手軽さから、目的や合格ラインを決めないまま試作が始まり、デモでは好評だったのに本番の判断ができない、ということが起きやすくなります。

また、生成AIは同じ質問にも毎回少し違う答えを返し、もっともらしい誤り(ハルシネーション)が混ざることもあります。数件のデモで良く見えても、数百件で試すと誤りの傾向が見えてきます。PoCでは、件数をそろえて評価することが欠かせません。

PoC止まりを防ぐ進め方

PoCを本番につなげるためには、試す前に「本番の姿」と「判断の基準」を決めておくことが重要です。

  1. 本番の姿を先に描くAIを使う人、使う場面、出力を確認する人、登録先のシステムを、簡単な業務フロー図にします。PoCで確かめるのはこの流れが成り立つかどうかです
  2. 合格ラインと期間を決める「注文書の品番・数量の読み取りが95%以上正しい」「確認を含めて1件あたり3分以内」のように、本番に進む条件を数字で決め、終了日も決めます
  3. 本番に近いデータを用意する過去数か月分の実際の書類や問い合わせから、例外や読みにくいものも含めて選びます。答えがわかっている「正解データ」も用意します
  4. 精度と業務の両方を評価する正答率だけでなく、現場の担当者に実際に使ってもらい、確認の手間や使いにくさを記録します
  5. 本番の構成と費用を見積もる既存システムとの連携方法、セキュリティ、APIの利用料、運用・保守の体制を含めて、本番の費用を試算します
  6. 判断の場を設ける決裁者が参加する場で「本番へ進む」「条件を変えてもう一度」「中止」のどれかを決めます。中止も立派な成果です

PoCの計画書に入れておきたい項目

  • 目的:どの業務の、何を、どれだけ減らしたいか(例:受注入力の時間を月30時間減らす)
  • 対象範囲:対象の書類・問い合わせの種類と、対象外にするもの
  • 評価方法:件数、正解データの作り方、誰が判定するか
  • 合格ライン:本番に進む条件。精度と業務時間の両方で書く
  • 期間と費用:終了日と、延長する場合の条件
  • データの扱い:使うデータの範囲、外部サービスに送ってよいか、PoC後の削除
  • 合格後の計画:本番開発の進め方、概算の費用と期間、運用の担当

想定ケース:問い合わせ回答の下書きをAIで作るPoC

想定ケース:従業員90名の産業資材の卸売業(架空の例)この例は、よくある状況をもとにした架空のモデルケースです。実在の企業の事例ではありません。
営業部では、取引先からの在庫・納期・仕様の問い合わせに、過去のメールやカタログを調べて回答しています。担当者が生成AIで回答案を作るPoCを始めましたが、合格ラインを決めていなかったため、3か月たっても「便利そうだが、本番にするかは決められない」状態でした。

立て直し:対象を「仕様の問い合わせ」に絞り、過去の問い合わせ200件で回答案を作成。担当者が「ほぼそのまま使える」「少し直せば使える」「使えない」の3段階で判定し、「少し直せば使える」以上が8割、確認を含めて1件5分以内を合格ラインにしました。在庫・納期は基幹システムのデータが必要なため、次の段階に回しました。
効果の試算:1件15分×月400件=月100時間。回答案の確認と修正に1件5分かかるとすると、削減は月67時間程度の試算です。
うまくいく条件:カタログや過去の回答がデータとしてそろっていること、判定する担当者の時間を確保できること。
つまずきやすい点:在庫・納期のように基幹システムの最新データが必要な質問は、システムとの連携なしでは答えられません。ここを最初からPoCに含めると、範囲が広がりすぎて判断が遅れます。

自社でできること/専門の会社に頼んだほうがよいこと

PoCの役割分担の目安

作業自社でできること専門の会社に頼んだほうがよいこと
企画対象業務の選定、現状の件数・時間の把握、目的の設定AIで実現できるかの見極め、PoCの範囲の調整
データ過去の書類・問い合わせの収集、正解データの作成データの前処理、外部サービスに送る際のセキュリティの設計
評価現場担当者による判定、使いにくさの記録評価方法・合格ラインの設計、件数をそろえた精度の測定
本番の計画業務フローの見直し、運用担当の決定既存システムとの連携方法の検討、本番の構成と費用の見積もり
汎用の生成AIツールで手軽に試すだけなら、自社だけでも可能です。業務システムへの組み込みを前提にする場合は、PoCの段階から本番の構成を考えられる会社と組むと、作り直しを避けやすくなります。

PoCを外部に依頼する場合は、契約の形も確認しましょう。成果物の完成を約束する「請負」か、作業の遂行を約束する「準委任」かで、責任の範囲が変わります。PoCは結果が事前にわからないため、何を納品し、何を約束しないのかを契約書で明確にしておくことが大切です。経済産業省のガイドラインも、PoC段階向けに「導入検証契約書」のモデル契約を示しています。契約の内容は、最終的には弁護士など専門家に確認してください。PoCの費用は、対象業務の範囲、使うデータの量と状態、求める精度、連携するシステムによって変わるため、個別に見積もりを取って比較しましょう。

PoCの計画づくりに使えるテンプレート
要件定義書や見積もり比較表など、発注前の整理に使える資料を無料テンプレート集で公開しています。PoCの目的や対象範囲を社内で共有する際にもご活用ください。
オーバーエックスのAI業務改善・AIシステム開発オーバーエックスでは、対象業務の整理からPoCの設計・実施、本番の業務システムへの組み込み、導入後の運用・保守までを一貫してご支援しています。PoCの段階から既存システムとの連携や本番の運用を見据えて計画するため、「試したあとに作り直し」になりにくい進め方をご提案します。止まっているPoCの立て直しのご相談も承ります。詳しくはAI業務改善・AIシステム開発のページ、またはお問い合わせからどうぞ。

よくある質問

AIのPoCの期間はどれくらいが適切ですか?
対象業務やデータの準備状況によって異なりますが、大切なのは期間の長さより、終了日と合格ラインを決めておくことです。延長する場合も、何を確かめるために延長するのかを明確にしましょう。
PoCで精度が合格ラインに届かなかったら、失敗ですか?
失敗とは限りません。対象範囲を絞る、人の確認と組み合わせる、データを整えるといった条件の変更で使える場合があります。条件を変えても届かない場合は、中止と判断できたこと自体がPoCの成果です。
PoCと本番開発を別の会社に頼んでも問題ありませんか?
可能ですが、PoCで作ったものや評価の結果を引き継げるよう、成果物と権利の扱いを契約で決めておく必要があります。本番の構成を考えずに作ったPoCは、本番では作り直しになることもあります。
無料のAIツールでPoCをしてもよいですか?
手軽に試すには有効です。ただし、入力したデータがAIの学習に使われるかなど、利用規約を確認し、社外秘や個人情報は入力しないようにしてください。本番で使う予定のサービスと条件が違うと、結果がそのまま当てはまらない点にも注意が必要です。

まとめ

AIのPoCが本番にならない最大の理由は、合格ラインと「合格したら何をするか」を決めずに始めることです。本番の姿を先に描き、本番に近いデータで、精度と業務の両方を評価し、本番の費用まで見積もってから判断の場を設ける。この流れを守れば、PoCは「本番へ進む」「中止する」のどちらかの判断にきちんとつながります。

参考:経済産業省「AI・データの利用に関する契約ガイドライン(AI編)」(2018年6月)、Gartner「Gartner Predicts 30% of Generative AI Projects Will Be Abandoned After Proof of Concept By End of 2025」(2024年7月29日)。

OX

TechBase 編集部(株式会社オーバーエックス)

東京・秋葉原のシステム開発会社。業務システム・Webシステム・基幹システムの受託開発、システムリプレイス、自社パッケージ開発、要件定義の支援を手がけています。オーバーエックスの特徴を見る

この記事に関連するサービス AI業務改善・AIシステム開発 生成AIなどのAIを、業務の流れや社内のシステムに組み込んで成果が出る形にします。業務の整理、試験導入(PoC)、AIを組み込んだシステムの開発、導入後の運用・改善まで一貫して対応… サービスの詳細を見る

Contact

今すぐ無料相談

全国対応

Page Top