企業のAIモデル選定　精度・費用・データ・更新を測る六つの基準

AIモデルの選定は、製品名を比べる前に、業務の合格基準と失敗したときの損失を数値で定める作業だ。顧客対応記録の要約、社内文書の検索、プログラム作成、画像確認、リアルタイム音声では、必要な精度、許容時間、入力形式、データを置ける場所が異なる。同じ候補でも、使う業務が変われば結論は入れ替わる。

モデルはAIシステムの一部にすぎない。実際の業務では、指示文、検索、権限管理、画面、出力形式の検査、人による確認がモデルの前後に付く。選定表にはモデル単体の成績と、業務1件を完了するまでの成績を分けて残す必要がある。

出発点──モデル名より業務を先に決める

最初に「AIを導入する」を検収可能な一文へ直す。例えば「問い合わせ記録から商品名、要望、対応状況を所定のJSON形式で抽出する」と書けば、項目の欠落率、形式違反率、人が直した割合、1件当たりの処理時間を測れる。「社内資料について答える」だけでは、どの資料を根拠にし、回答不能をどう扱うかが決まらない。

誤りの損失も先に分ける。社内向けの下書きは人が直せるが、支払い、採用、資格、医療に関わる出力は、誤りが本人や組織へ及ぼす影響が大きい。自動実行を許す範囲、確認者、差し戻し条件、停止権限をモデルの品質基準と同じ文書に置く。

NISTのAIリスク管理枠組み（AI Risk Management Framework、AI RMF）1.0は、Govern、Map、Measure、Manageを順番が固定されたチェックリストとはせず、利用目的、想定利用者、損失、第三者サービス、人の監督をAIシステムの全期間で反復して確かめる四つの機能としている。NISTは同時に、1.0を改定中だと明記している。選定時の記録も運用開始後に更新する前提で扱う必要がある。

評価手順──精度を固め、費用と遅延を測る

OpenAIの公式ガイドは、用途ごとに本番投入へ必要な精度目標を定め、その目標を測る評価データを作り、合格後に同じ精度を保てる安価で速い候補を比べる手順を示している。費用や遅延の上限が厳しい業務では、その上限を先に置き、超える候補を試験対象から外す方法も示す。

評価データには、日常的な入力と失敗しやすい入力の両方を入れる。日本語の言い換え、社内略語、誤字、長文、表、添付画像、情報が足りない質問、権限外の依頼を含め、正しい出力か、人の判断へ戻すべきかを1件ずつ決める。候補には同じ入力、同じ指示文、同じ出力上限を与え、確率的な揺れを見るため複数回実行する。

測る対象	記録する値	見落としやすい費用
出力品質	正答率、形式順守率、引用の正確さ、回答不能の判定	人の確認と修正、再実行
応答性能	P50・P95遅延、時間切れ、同時処理量	待ち行列、再試行、外部ツールの待ち時間
業務費用	入力・出力・キャッシュ・検索を含む1件当たり費用	監視、評価、問い合わせ対応、移行作業
運用品質	エラー率、版ごとの差、停止からの復旧時間	予備モデル、手作業への切り替え

Anthropicの公式選定ガイドも、用途固有の評価セットを作り、実際の指示文とデータで正確さ、回答品質、例外処理を候補間で比べ、性能と費用の差を判断するよう求めている。提供会社のランキングは候補を探す入口にはなるが、自社の入力分布と採点基準を置き換えない。

モデル家族──得意分野と版の状態を分ける

高性能な一つのモデルへ全業務を集めると、単純な分類にも高い料金を払い、障害時の影響範囲も広がる。定型処理は軽量モデル、複雑な推論は能力の高いモデル、画像や音声は対応するマルチモーダル（multimodal）モデルという形で、業務ごとに候補を分ける。社内文書への回答では、モデルの能力に検索精度、文書の更新、閲覧権限、引用表示を加えたシステム全体を測る。

GoogleのGemini API文書は、特定の版を指し通常は変わらないstable、提供条件が変わり得るpreview、本体が新しい版へ差し替わるlatest、本番利用には通常適さないexperimentalを区別している。同じ製品群でも版の状態が違えば、通知期間、利用上限、変更への備えが変わる。試験結果には表示名ではなく、実際に呼び出したモデルIDと実行日を残す。

日本の公的資料──推奨モデルではなく選定記録

日本政府の現行方針は、特定の商用モデルを一律に選ぶ制度ではない。2026年7月14日に閣議決定された第Ⅱ期「人工知能基本計画」は、特定の国や企業への過度な依存を避け、必要なときに信頼できるAIを主体的に選択、運用できる状態を方針に掲げた。これは国の戦略であり、企業別の合格モデルを示す認定一覧ではない。

実務に近い確認項目は、政府情報システム向けの調達文書にある。デジタル庁が2026年6月12日に決定した第2.0版ガイドラインは、目的とリスクの定義、期待品質の測定、入出力データの管理、利用モデルとバージョンの明示、別のベンダーやシステムへ移りやすい設計を基本項目とし、複数モデルの選択を加点項目に置いている。モデルの大幅な更新時には品質、安全性、費用の再確認も求める。

同ガイドラインは政府情報システムのルールで、民間企業一般を直接拘束しない。内容は原則として2026年9月1日に施行され、AIガバナンスの対象範囲は同年7月1日から適用された。それでも、目的、試験、データ、版、移行を一つの記録にする構成は、企業が調達仕様を作る際の比較材料になる。

日本企業が同一業務を複数社のモデルで試し、品質、遅延、総費用を同じ条件で比較した公的な横断データは、本稿の執筆時点で確認できていない。製品名別の国内平均を置かず、自社の評価データと契約条件から測る必要がある。

データと契約──入力前に用途と保存先を確定

回答の品質が高くても、入力データを許可なく別の目的へ使う契約なら候補から外れる。保存期間、削除方法、機械学習への再利用、処理地域、再委託先、管理者権限、事故時の通知、契約終了後のデータ返却を、画面の設定と契約書の両方で確認する。

個人情報保護委員会は2023年6月の注意喚起で、事業者が個人情報を含む指示文を入力する際は特定した利用目的の範囲内かを確認し、本人の同意がない個人データについては応答生成以外の機械学習に使われないことなどを確かめるよう求めた。一般の利用者にも、利用規約とプライバシーポリシーを確認して入力内容を判断するよう促している。

無料の対話サービス、組織管理機能を持つ契約、API、自社環境へ置くモデルでは、同じブランド名でもデータの扱いと管理権限が違う場合がある。病歴、本人確認書類、未公表の設計、顧客名簿を入力する判断は、回答の便利さと切り離す。自社環境へ置く場合も、計算機、更新、脆弱性対応、監視、障害復旧を利用側が引き受ける。

導入前に残す六項目

1. 業務と停止線：入力、期待する出力、自動実行を許す範囲、人へ戻す条件、停止権限を定める。
2. 合格基準：正答率、形式順守率、回答不能の判定、P95遅延、処理量、1件当たり費用の下限と上限を置く。
3. 評価データ：実際の日本語、長文、表、誤記、例外、権限外の依頼を含め、正解と採点者を記録する。
4. データ条件：保存、削除、学習への再利用、処理地域、再委託、アクセス、監査ログを契約と設定で確かめる。
5. 版と変更：モデルID、実行日、指示文、検索設定、評価結果、更新通知、再試験の条件を残す。
6. 切り替え経路：第二候補、手作業、データのエクスポート、別サービスへ移る手順、停止時の責任者を決める。

選定の成果は、採用した製品名ではなく、同じ条件で再実行できる評価記録である。モデル、価格、業務データ、失敗の種類のいずれかが変われば、同じ評価をやり直す。生成AIがもっともらしい誤りを返す仕組みと、回答に付いた出典まで確かめる手順は別稿で整理した。

よくある質問

規模の大きなモデルほど良いのか
一律には決まらない。複雑な推論では能力の高いモデルが合格しやすい一方、大量の定型分類では、軽量モデルが必要な品質を満たし、応答時間と費用を抑える場合がある。同じ評価データで合格した候補だけを比べる。

API、自社環境、専用クラウドのどれを選ぶのか
データを置ける場所、応答時間、処理量、更新を担う人員、障害対応、必要な計算機から決める。APIは提供側が基盤と更新を担う。自社環境ではデータの所在を管理しやすくなる余地があるが、設備、監視、更新、安全対策を利用側が負う。

いつ再評価するのか
モデルの版、指示文、検索データ、価格、入力の傾向、利用量、誤りの種類、契約条件が変わった時点で再試験する。影響の大きい業務では定期試験の日程も先に決め、予備モデルと手作業への切り替えを同時に確かめる。