既存業務でのAI PoCの設計：成功基準と進め方

既存業務でのAI PoC（概念実証）は、始める前に「何を満たしたら成功か」「何が起きたら中止か」を数字で決めておくのが基本です。AIは、デモでは良く見えても、実際の業務の資料や例外処理の中では期待した結果が出ないことがあります。そのため、実際の業務に近いデータと条件で、少人数の現場担当者と一緒に評価します。

PoCとプロトタイプ、MVPの違いはPoC・プロトタイプ・MVPの違いと使い分けで整理しています。この記事では、既存業務のAI活用に特化した設計のポイントを説明します。

PoCで確かめることを3つに絞る

精度・品質：AIの出力が、業務で使える水準か
業務での有効性：実際の流れに組み込んだときに、時間や品質に効果があるか
運用の現実性：確認作業、データ更新、情報の扱いなどを含め、続けられるか

これらを全部一度に確かめようとせず、最も不確かなものから順に確かめます。技術的に可能かが不確かなら精度から、現場が使うかが不確かなら有効性から検証します。

成功基準の決め方

基準値を先に測る

AIを使わない現状の所要時間、ミス率、件数などを、検証の前に測っておきます。基準値がないと、「速くなった」かどうかを判断できません。

成功基準の例

観点	基準の例
精度	人が評価した合格率が○％以上（評価の基準を事前に文書化）
時間	1件あたりの作業時間が基準値より○％以上短い（確認・修正の時間を含む）
品質	修正が必要な件数が基準値より増えない
利用	対象者の○割が、期間中に継続して使う
安全	入力禁止の情報が入力されたことがゼロ

ポイントは、時間に「AIの出力を確認・修正する時間」を含めることです。AIが下書きを数秒で作っても、確認と修正に時間がかかれば、効果は小さくなります。

中止・見直しの条件も決める

「精度が一定以下で改善の見込みがない」「情報の取り扱いで問題が発生した」「現場が使わない」といった場合の対応を、あらかじめ決めておきます。判断基準の考え方はPoCの評価基準と判断基準も参照してください。

進め方

1. 評価用のデータと例を用意する

実際の業務で扱う文書やケースから、評価用のサンプルを集めます。通常のケースだけでなく、例外的なケースや、判断の難しいケースも含めます。個人情報や機密を含む場合は、利用してよい範囲と環境を確認してから使います（社内AI利用ルールの作り方：入力情報・出力の扱い・責任）。

2. 評価の方法を決める

誰が評価するか：現場の熟練者を含める。評価者が複数なら、判断の基準をそろえる
何と比べるか：人が作った結果、または現状の方法と比較する
どう記録するか：評価の結果、失敗した例とその原因を残す

失敗した例の記録は、成功例以上に価値があります。どのような場面で誤りが出るかが分かれば、利用範囲の設計に生かせます。

3. 期間と体制を決める

目安として、準備に数週間、検証に1〜3か月程度で設計し、期間の終わりに判断の場を設けます。体制は、責任者、現場の担当者（実際に使う人）、技術の担当（社内またはベンダー）、情報管理・法務の相談先を置きます。外部に委託する場合は、データの扱い、成果物、評価の方法を契約で明確にします（PoC契約の注意点）。

4. 現場の業務の流れに載せて試す

別の画面でAIを試すだけでなく、普段の業務の流れの中で使ってもらいます。使いにくさや、確認の手間は、実際に使って初めて分かります。人とAIの役割分担の設計はAIエージェントを業務に組み込む設計：人とAIの役割分担を参照してください。

5. 結果を判断し、次を決める

期間の終わりに、基準に照らして次のいずれかを決めます。

進める：試行導入へ
修正して再検証：条件を変えて再度試す
中止：学んだことを記録して終える

PoC止まりを防ぐ工夫

最初から、PoCの後の運用体制と予算の道筋を稟議に書いておく（AI活用の稟議・予算確保：投資対効果の示し方）
現場の担当者を、評価者としてだけでなく、設計の相談相手にする
データの整備が足りない場合は、PoCと並行して着手する（AI活用に向けたデータ整備：まず何から手をつけるか）

業種別の例（仮の例）

小売業の場合：問い合わせ回答案の作成を、過去の問い合わせ200件を使って評価する。合格率と、担当者の修正時間を測り、基準値と比べる。
建設業の場合：日報の下書き作成を、2つの現場で1か月試し、作成時間と修正の量を記録する。
金融業の場合：社内規程の検索支援を、個人情報を含まない範囲で試し、回答の正確性を担当者が評価する。

注意点

AIの出力は同じ入力でも変わることがあるため、複数回の試行で評価します。
デモやベンダーの事例は参考にとどめ、自社のデータでの結果で判断します。
検証用に入力する情報が、サービス側で学習に利用されないかを、利用前に確認します。個人データの扱いは、個人情報保護委員会の注意喚起も参照してください。

まとめ

既存業務のAI PoCは、成功基準と中止条件を数字で決め、実際の業務に近いデータで、現場の担当者とともに評価します。確認や修正の時間まで含めて効果を測り、期間の終わりに進める・修正する・中止するを判断します。

参考資料

執筆・運営：Otsumu株式会社
新規事業の立ち上げ支援を行う運営チームが執筆しています。ご相談は上の「お問い合わせ」からどうぞ。