AI Maturity
AI成熟度を事業目的につなぐ：必要な能力と統制を証拠から評価する
企業のAI成熟度を、事業目的に必要な能力と統制を証拠から特定する方法として捉え直す。
AI成熟度の数値は、組織の現在地を一つの尺度へ圧縮します。 改善計画に使うときは、得点の低い能力が対象業務のボトルネックかを確かめます。
たとえば、単一のRAGで目的を満たし、データ更新と評価を継続できる組織には、その用途に必要な運用能力があります。 複数エージェントを実装していても、データの利用権限が曖昧で、評価結果が残らず、異常時に誰も停止できないなら、本番移行までに検証すべき項目が残ります。
採用した技術の数と、対象業務に必要な能力を分けて見ることが、評価の出発点です。
企業のAI成熟度を評価するときは、対象業務に必要な品質とリスク水準を定め、その実現を止めている能力を証拠から特定します。
麻布技術研究所では、この考え方を目的適合の成熟度と呼んでいます。 「目的適合の成熟度」は当研究所独自の呼称であり、外部標準の用語ではありません。
事業目的を起点に、必要能力と確認できる証拠を経て、次の投資先を選びます。
技術能力と運用能力を分けて評価する
AIの現在地を一つの数字で表すと、技術能力と運用能力が混ざります。 そこで、麻布技術研究所の評価設計では二つを分けます。
一つ目は、技術能力です。 データ準備、モデル選定、RAG、モデル特化、接地と評価、単一エージェント、マルチエージェントについて、適用要否と実装証拠を個別に確認します。
二つ目は、プロセス成熟度です。 担当者の試行で終わらず、標準、責任、計測、監視、改善を組織として繰り返せるかを確認します。
PoCで動いたという事実は、技術能力があることの一つの証拠です。 ただし、誰が責任を持ち、どの失敗を検知し、何を根拠に停止するかまでは証明しません。
また、未採用という回答から技術能力の欠如を推定することもできません。 対象業務には不要として、採用を見送った可能性が残るためです。
技術能力は適用要否と実装証拠を別途確認し、麻布技術研究所の全12問の自己診断では対象範囲の運用状態を採点します。
本番導入に必要な能力を六つの次元で確認する
AI導入の成否には、モデル以外の条件も影響します。 そこで、自己診断では必要な能力を六つに分けます。
- データ基盤とガバナンス：データの品質、権利、プライバシー、アクセス性、更新責任を確認します。
- モデル活用と文脈設計：用途に合うモデルの選定、プロンプト、RAG、知識更新の手順を確認します。
- 特化、接地、評価：モデル特化の要否、引用、精度、バイアス、安全性の評価を確認します。
- エージェント実装：ツール実行、多段タスク、単一または複数エージェントの適用範囲を確認します。
- 運用、信頼性、セキュリティ：ログ、監視、権限、ガードレール、停止、復旧を確認します。
- ガバナンス、組織、ROI：責任分担、本番移行、効果測定、例外処理、変革管理を確認します。
六つの目標水準は、対象業務ごとに設定します。
たとえば社内RAGでは、マルチエージェントよりも、データ所有者、更新手順、検索評価、引用検証が先に本番品質を止めることがあります。 回答が流暢でも、参照すべき資料を検索できなければ、業務知識の回答として信頼できないからです。
業務を自動実行するエージェントでは、モデルの正答率だけを見ても足りません。 ツール権限、サービスID、承認、実行ログ、停止、人への引き継ぎを設計しなければ、誤った出力が実システムの変更へつながるからです。
従業員の文章作成を支援し、AIが業務システムを変更しない用途なら、同じ水準の実行統制は不要かもしれません。 その代わり、データ持ち出し、利用方針、出力確認を優先します。
用途が違えば、必要な成熟度の形も変わります。
投資先は最低点に四つの条件を重ねて選ぶ
診断結果の最弱次元は、追加で確かめる候補です。 それだけで、次の投資先は決まりません。
実際の優先順位には、少なくとも次の四点を加えます。
- 事故が起きた場合の影響
- 対象業務が生む事業価値
- 他の能力との依存関係
- 実装と運用に必要な費用や期間
たとえばエージェントの機能が不足していても、対象業務がRAGによる検索支援なら、その不足は導入を止めていない可能性があります。 一方で、平均点が高くても、機密データの利用権限が整理されていなければ、その一点が本番移行を止めます。
平均点は全体像を圧縮します。 圧縮された数字だけでは、どの失敗を防ぐために何を直すべきかまではわかりません。
自己評価を、確認できる証拠へ変える
「評価している」「運用している」という回答は、証拠を探す起点です。 回答と同じ単位で証拠を確認します。
- データ：データ所有者、利用許諾、品質指標、更新記録、アクセス設定
- 評価：テストセット、評価基準、失敗例、リリース判定、再評価の記録
- エージェント：ツール台帳、権限、実行トレース、承認、停止、人への引き継ぎ
- ガバナンス：責任者、リスク受容、本番移行、例外処理、効果指標、振り返り
証拠が見つからないからといって、何も実施していないとは限りません。 しかし、担当者が変わったときに確認できない状態は、再現可能な組織能力とは分けて扱う必要があります。
外部の枠組みにも、目的、リスク、継続的改善を重視する記述があります。 CMMI AIMのエグゼクティブサマリーは、AI活用を目的と成果に結び付け、ガバナンス、データ品質、人材、成功指標で支える考え方を示しています。 NIST AI RMFの生成AIプロファイルも、組織の目標、リスク許容度、資源に合わせてリスク管理を調整し、AIライフサイクル全体で扱う資料です。 ISO/IEC 42001は、AIマネジメントシステムを確立し、実施し、維持し、継続的に改善するための要求事項を定めています。
ただし、麻布技術研究所の自己診断は、これらの公式評価や認証ではありません。 参照資料の考え方を比較しながら設計した、初期スクリーニングです。
最初の90日で一つの差分を確かめる
最初の90日は、一つの業務またはシステムを対象にし、一つのボトルネックを検証します。
1日目から30日目
対象業務、利用者、成功条件、許容できない失敗を固定します。 方針文書、設定、テスト結果、ログ、承認記録を集め、自己評価と証拠の差を確認します。
31日目から60日目
評価、権限、ログ、データ更新など、目的達成を止めている一領域を選びます。 複数の不足を同時に直そうとせず、変更と結果の対応を確認できる範囲に絞ります。
61日目から90日目
通常系だけでなく、入力不備、権限不足、外部サービス停止、誤った出力などの失敗系を試します。 承認、監視、停止、復旧、人への引き継ぎまでを記録し、次の投資対象を選ぶ資料にします。
最初の90日は、対象と証拠、ボトルネック、失敗系と運用の順に一つの差分を確かめます。
この90日案は成果を保証する工程ではありません。 現在地を、説明可能な証拠へ変えるための進め方です。
次の投資先を証拠から選ぶ
最新モデルで複数のツールを呼び分けるデモが動いていても、責任者、評価記録、実行権限、停止条件が確認できなければ、本番移行に必要な検証は残ります。 この場合はモデル更新より先に、停止と引き継ぎの統制を確認します。
具体的には、停止権限を持つ担当者、停止の根拠に使う監視記録、停止後の引き継ぎ先を定めます。
三点のいずれかが未定なら、そこが次の検証候補です。
自己診断の点数は、確認範囲を絞るための仮置きです。 投資先は、対象業務の証拠と、事故影響、事業価値、依存関係、費用を照合して決めます。
この記事を書いた人
中村泰行（Yasu Nakamura）
株式会社麻布技術研究所 代表取締役社長。 サイバーセキュリティ、人工知能、セキュアシステム、事業成長を主な専門領域としています。