Overview / SLM Routing
ドメイン特化SLMへ ルーティング
一つのAPIから、品質、速度、推論原価、権利条件、データ配置に合うドメイン特化SLMへAIリクエストを振り分けます。
SLMが受入基準または実行条件を満たせない場合に限ってLLMへフォールバックし、顧客が許諾した入出力と専門家修正を専用SLMの評価と蒸留に利用します。
Design partners open / Initial consultation free
01 / Situation
業務ごとに必要なモデル条件が異なる
生成AIの利用が検証から業務へ移ると、モデルに求める条件は正解率だけでは決まりません。問い合わせ分類、文書抽出、不正検知、判断支援では、許容できる誤りと必要な応答時間が異なります。
定型度が高い処理はSLMで担える可能性があります。一方で、未知の要求や複雑な判断にはLLMが必要です。どちらを使うかは、業務ごとの受入基準と制約で決める必要があります。
- Quality
- 許容できる誤りと人への引き継ぎ
- 正答率だけでなく、重大な誤判定、判断保留、担当者への引き継ぎを業務ごとに定めます。
- Economics
- 成果一件あたりの費用と応答時間
- 推論費用に再試行と人による確認を加え、受入基準を満たした成果一件あたりの総原価を測ります。
- Control
- 権利条件とデータ配置
- 商用利用、再配布、外部送信、保存場所、鍵管理、運用主体をモデル構成と配備形態ごとに確認します。
02 / Complication
モデル性能
だけではSLMを選べない
すべての処理を同じLLMへ送ると、定型処理にも同じ推論原価と外部依存が生じます。公開モデルを個別に試すだけでは、業務採用に必要な判断を一貫させられません。
- 01
Benchmark Gap
公開指標と業務損失のずれ
公開ベンチマークが高くても、誤判定の損失、判断保留、応答時間、データ配置を満たすとは限りません。
- 02
Operational Split
選定と配備と監視の分断
モデルの試用、ライセンス確認、API実装、配備、回帰評価を別々に進めると、工程ごとに採用基準が変わります。
- 03
Learning Gap
利用結果と学習データの分断
LLMの入出力は、そのまま学習データにはなりません。顧客の許諾、提供者の条件、専門家修正、来歴を揃えて初めて蒸留候補として扱えます。
03 / Resolution
業務の評価条件をモデル運用へ通す
最初にモデル名を決めません。対象業務を一つに絞って受入基準を定義し、候補比較、ルーティング、LLMフォールバック、蒸留、更新へ同じ評価仕様を通します。
- 01 Define
対象業務と受入基準を定義
一つの業務判断を選び、参加者、観測できる情報、選択肢、目的、損失、必須制約を記述します。
Evaluation Specification
- 02 Route
SLM候補を同じ条件で比較して振り分け
固定したモデル版と評価データを使い、品質、速度、費用、権利条件、データ配置を満たす経路を決めます。
Routing Policy
- 03 Learn
LLMフォールバックを評価データへ変換
顧客が許諾したリクエスト、応答、選択結果、専門家修正だけを記録し、来歴を付けて蒸留候補にします。
Consent & Provenance Record
- 04 Operate
専用SLMを構築して配備後も再評価
蒸留または追加学習したSLMを顧客指定環境へ配備し、評価データ、ルーティングポリシー、モデル版、更新判断を対応づけます。
Model Passport
知性の民主化とは、すべての現場に同じ巨大モデルを配ることではありません。各現場が、目的と制約に合う知性を選び、育て、統制できる状態をつくることです。
04 / Feature
初期MVPで提供する機能
初期MVPは選定済みSLMの比較、即時試用、オンデマンド実行、ルーティングAPIから始めます。専用SLMの構築とModel Studioはデザインパートナーとの共同検証です。
-
01 / SLM Catalog
MVP / 受付中選定済みSLMの比較と即時試用
Hugging Face上のモデルを起点に、固定リビジョン、ライセンス、必要メモリ、速度、評価条件を並べて比較します。
-
02 / On-demand Runtime
MVP / 受付中共通APIからSLMをオンデマンド実行
検証時に必要な実行環境を用意し、アプリケーション側の接続先を変えずに候補SLMを呼び分けます。
-
03 / Routing Policy
MVP / 受付中業務条件に基づくSLMとLLMの呼び分け
事前評価で受入基準を満たした条件をSLMへ割り当て、基準または実行条件を満たせない処理だけをLLMへ送ります。
-
04 / Purpose-built SLM
Design Partner評価データから専用SLMを構築
許諾されたデータによる蒸留または追加学習を共同検証し、Model Studioで評価、配備、更新に必要な履歴を管理します。
05 / Differentiator
業務の評価関数からSLMを決める
一般ベンチマークだけでは、誤判定の損失、判断保留、人への引き継ぎ、推論原価、データ配置を評価できません。
顧客課題を参加者、情報、選択肢、目的、損失、制約、受入基準からなる意思決定問題として定義し、その業務で得られる成果を基準にモデルを選びます。
- 01
Game Definition
業務判断を意思決定問題として定義
参加者、観測できる情報、選択肢、結果を記述し、モデルが答える条件、判断を保留する条件、人へ引き継ぐ条件を固定します。
- 02
Evaluation Design
最適化指標と必須制約を分離
品質、速度、費用は比較する指標として扱い、安全、法令、権利条件、データ配置は満たすべき制約として分けます。
- 03
Lifecycle
選定から更新まで同じ受入基準で管理
候補比較、ルーティング、蒸留、配備、回帰評価で同じ評価仕様を使い、判断が変わった理由をモデル版と履歴へ残します。
06 / Benefit
SLM化で検証する三つの事業成果
SLMルーティングの価値を、原価、商品化、防御判断の三つに分けます。最初の共同検証では、優先するBenefitを一つ選び、PoCから本番化までの成立条件を確かめます。
- 01
Unit Economics
業務成果あたりの推論原価を下げる
事前評価で受入基準を満たした業務と条件をSLMへ移し、汎用LLMの利用を必要な処理へ絞ります。推論費用だけでなく、再試行と人による確認を含む総原価で採算を判断します。
改善幅は処理内容、要求品質、トラフィック、実行環境によって異なります。本番移行前に実データで比較します。
- 02
Commercial Asset
再配布条件を設計したSLMを新事業へ組み込む
基盤モデル、学習データ、生成物、依存物の権利条件を確認し、API、専用配備、OEM、モデル重みのうち可能な提供形態を設計します。
商用利用とモデル重みの再配布は別条件です。商品化の可否はモデル構成と契約条件ごとに判定します。
- 03
Adaptive Defense
変化する不正や攻撃への防御判断を更新
許可された隔離環境で想定脅威とその変形を評価し、検知、判断保留、人への引き継ぎの基準を更新します。評価データとモデル版を対応づけ、同じシナリオで回帰を確認します。
防御目的かつ明示的に許可された対象だけを扱います。犯罪や侵害の防止を保証せず、最終判断は人が行います。
07 / Evidence
共同検証から本番化へ
FeatureとDifferentiatorが期待するBenefitにつながるかを、一つの業務で共同検証します。PoCでは顧客データを使い、現行の処理方法とSLMルーティングを比較します。
成立する範囲が確認できたら、その範囲から本番化します。必要に応じて専用SLMの蒸留、顧客環境への配備、継続評価へ進みます。
- 01 Frame
対象業務と期待するBenefitを合意
原価、新事業、防御判断のいずれを優先するかを決め、現在の処理方法と守るべき制約を整理します。
- 02 Prototype
SLM CatalogとRouting APIで試す
候補SLMを同じ業務フローで動かし、受入条件を満たせない処理だけをLLMへフォールバックします。
- 03 Validate
顧客データで成立条件を確認
期待する品質、費用、応答時間、運用条件を満たすかを共同で確認し、本番化に残る課題を明らかにします。
- 04 Production
必要な専用化を行って本番へ移行
PoCで確認した条件をもとに、必要な場合だけ蒸留または追加学習を行い、配備と継続評価へ進みます。
Good First Workload
繰り返し発生して結果を測定でき、人への引き継ぎがある業務に向いています。品質、速度、費用、権利条件、データ配置のいずれかに明確な制約があることも選定条件です。
Joint Decision
PoCの結果を共有し、本番化する範囲、専用SLM化する範囲、追加検証する範囲を共同で決めます。最初から全業務を置き換える必要はありません。
08 / Pilot
一つの業務から共同検証
対象業務、現在の処理方法、期待するBenefit、守るべき制約を確認し、PoCで試すSLMとRouting APIの範囲を整理します。秘密情報や個人情報はフォームへ入力せず、詳細データの共有方法は相談後に決めます。
共同検証を相談するEarly Access / 法人向け