Overview / SLM Routing

ドメイン特化SLMへ ルーティング

一つのAPIから、品質、速度、推論原価、権利条件、データ配置に合うドメイン特化SLMへAIリクエストを振り分けます。

SLMが受入基準または実行条件を満たせない場合に限ってLLMへフォールバックし、顧客が許諾した入出力と専門家修正を専用SLMの評価と蒸留に利用します。

Design partners open / Initial consultation free

AIリクエストを評価条件に基づいてSLMへ振り分け、専用モデルへ蒸留する概念図
01 / Business Request 02 / SLM Routing 03 / Distill & Deploy

01 / Situation

業務ごとに必要なモデル条件が異なる

生成AIの利用が検証から業務へ移ると、モデルに求める条件は正解率だけでは決まりません。問い合わせ分類、文書抽出、不正検知、判断支援では、許容できる誤りと必要な応答時間が異なります。

定型度が高い処理はSLMで担える可能性があります。一方で、未知の要求や複雑な判断にはLLMが必要です。どちらを使うかは、業務ごとの受入基準と制約で決める必要があります。

Quality
許容できる誤りと人への引き継ぎ
正答率だけでなく、重大な誤判定、判断保留、担当者への引き継ぎを業務ごとに定めます。
Economics
成果一件あたりの費用と応答時間
推論費用に再試行と人による確認を加え、受入基準を満たした成果一件あたりの総原価を測ります。
Control
権利条件とデータ配置
商用利用、再配布、外部送信、保存場所、鍵管理、運用主体をモデル構成と配備形態ごとに確認します。

02 / Complication

モデル性能だけではSLMを選べない

すべての処理を同じLLMへ送ると、定型処理にも同じ推論原価と外部依存が生じます。公開モデルを個別に試すだけでは、業務採用に必要な判断を一貫させられません。

  1. 01

    Benchmark Gap

    公開指標と業務損失のずれ

    公開ベンチマークが高くても、誤判定の損失、判断保留、応答時間、データ配置を満たすとは限りません。

  2. 02

    Operational Split

    選定と配備と監視の分断

    モデルの試用、ライセンス確認、API実装、配備、回帰評価を別々に進めると、工程ごとに採用基準が変わります。

  3. 03

    Learning Gap

    利用結果と学習データの分断

    LLMの入出力は、そのまま学習データにはなりません。顧客の許諾、提供者の条件、専門家修正、来歴を揃えて初めて蒸留候補として扱えます。

03 / Resolution

業務の評価条件をモデル運用へ通す

最初にモデル名を決めません。対象業務を一つに絞って受入基準を定義し、候補比較、ルーティング、LLMフォールバック、蒸留、更新へ同じ評価仕様を通します。

  1. 01 Define

    対象業務と受入基準を定義

    一つの業務判断を選び、参加者、観測できる情報、選択肢、目的、損失、必須制約を記述します。

    Evaluation Specification

  2. 02 Route

    SLM候補を同じ条件で比較して振り分け

    固定したモデル版と評価データを使い、品質、速度、費用、権利条件、データ配置を満たす経路を決めます。

    Routing Policy

  3. 03 Learn

    LLMフォールバックを評価データへ変換

    顧客が許諾したリクエスト、応答、選択結果、専門家修正だけを記録し、来歴を付けて蒸留候補にします。

    Consent & Provenance Record

  4. 04 Operate

    専用SLMを構築して配備後も再評価

    蒸留または追加学習したSLMを顧客指定環境へ配備し、評価データ、ルーティングポリシー、モデル版、更新判断を対応づけます。

    Model Passport

知性の民主化とは、すべての現場に同じ巨大モデルを配ることではありません。各現場が、目的と制約に合う知性を選び、育て、統制できる状態をつくることです。

04 / Feature

初期MVPで提供する機能

初期MVPは選定済みSLMの比較、即時試用、オンデマンド実行、ルーティングAPIから始めます。専用SLMの構築とModel Studioはデザインパートナーとの共同検証です。

  1. 01 / SLM Catalog

    MVP / 受付中

    選定済みSLMの比較と即時試用

    Hugging Face上のモデルを起点に、固定リビジョン、ライセンス、必要メモリ、速度、評価条件を並べて比較します。

  2. 02 / On-demand Runtime

    MVP / 受付中

    共通APIからSLMをオンデマンド実行

    検証時に必要な実行環境を用意し、アプリケーション側の接続先を変えずに候補SLMを呼び分けます。

  3. 03 / Routing Policy

    MVP / 受付中

    業務条件に基づくSLMとLLMの呼び分け

    事前評価で受入基準を満たした条件をSLMへ割り当て、基準または実行条件を満たせない処理だけをLLMへ送ります。

  4. 04 / Purpose-built SLM

    Design Partner

    評価データから専用SLMを構築

    許諾されたデータによる蒸留または追加学習を共同検証し、Model Studioで評価、配備、更新に必要な履歴を管理します。

05 / Differentiator

業務の評価関数からSLMを決める

一般ベンチマークだけでは、誤判定の損失、判断保留、人への引き継ぎ、推論原価、データ配置を評価できません。

顧客課題を参加者、情報、選択肢、目的、損失、制約、受入基準からなる意思決定問題として定義し、その業務で得られる成果を基準にモデルを選びます。

  1. 01

    Game Definition

    業務判断を意思決定問題として定義

    参加者、観測できる情報、選択肢、結果を記述し、モデルが答える条件、判断を保留する条件、人へ引き継ぐ条件を固定します。

  2. 02

    Evaluation Design

    最適化指標と必須制約を分離

    品質、速度、費用は比較する指標として扱い、安全、法令、権利条件、データ配置は満たすべき制約として分けます。

  3. 03

    Lifecycle

    選定から更新まで同じ受入基準で管理

    候補比較、ルーティング、蒸留、配備、回帰評価で同じ評価仕様を使い、判断が変わった理由をモデル版と履歴へ残します。

06 / Benefit

SLM化で検証する三つの事業成果

SLMルーティングの価値を、原価、商品化、防御判断の三つに分けます。最初の共同検証では、優先するBenefitを一つ選び、PoCから本番化までの成立条件を確かめます。

SLMルーターから推論原価の適正化と商用モデル事業と防御判断へ処理が分岐する概念図
01 / 推論原価の適正化 02 / 商用SLMの事業化 03 / 防御判断の更新
  1. 01

    Unit Economics

    業務成果あたりの推論原価を下げる

    事前評価で受入基準を満たした業務と条件をSLMへ移し、汎用LLMの利用を必要な処理へ絞ります。推論費用だけでなく、再試行と人による確認を含む総原価で採算を判断します。

    改善幅は処理内容、要求品質、トラフィック、実行環境によって異なります。本番移行前に実データで比較します。

  2. 02

    Commercial Asset

    再配布条件を設計したSLMを新事業へ組み込む

    基盤モデル、学習データ、生成物、依存物の権利条件を確認し、API、専用配備、OEM、モデル重みのうち可能な提供形態を設計します。

    商用利用とモデル重みの再配布は別条件です。商品化の可否はモデル構成と契約条件ごとに判定します。

  3. 03

    Adaptive Defense

    変化する不正や攻撃への防御判断を更新

    許可された隔離環境で想定脅威とその変形を評価し、検知、判断保留、人への引き継ぎの基準を更新します。評価データとモデル版を対応づけ、同じシナリオで回帰を確認します。

    防御目的かつ明示的に許可された対象だけを扱います。犯罪や侵害の防止を保証せず、最終判断は人が行います。

07 / Evidence

共同検証から本番化へ

FeatureとDifferentiatorが期待するBenefitにつながるかを、一つの業務で共同検証します。PoCでは顧客データを使い、現行の処理方法とSLMルーティングを比較します。

成立する範囲が確認できたら、その範囲から本番化します。必要に応じて専用SLMの蒸留、顧客環境への配備、継続評価へ進みます。

  1. 01 Frame

    対象業務と期待するBenefitを合意

    原価、新事業、防御判断のいずれを優先するかを決め、現在の処理方法と守るべき制約を整理します。

  2. 02 Prototype

    SLM CatalogとRouting APIで試す

    候補SLMを同じ業務フローで動かし、受入条件を満たせない処理だけをLLMへフォールバックします。

  3. 03 Validate

    顧客データで成立条件を確認

    期待する品質、費用、応答時間、運用条件を満たすかを共同で確認し、本番化に残る課題を明らかにします。

  4. 04 Production

    必要な専用化を行って本番へ移行

    PoCで確認した条件をもとに、必要な場合だけ蒸留または追加学習を行い、配備と継続評価へ進みます。

Good First Workload

繰り返し発生して結果を測定でき、人への引き継ぎがある業務に向いています。品質、速度、費用、権利条件、データ配置のいずれかに明確な制約があることも選定条件です。

Joint Decision

PoCの結果を共有し、本番化する範囲、専用SLM化する範囲、追加検証する範囲を共同で決めます。最初から全業務を置き換える必要はありません。

08 / Pilot

一つの業務から共同検証

対象業務、現在の処理方法、期待するBenefit、守るべき制約を確認し、PoCで試すSLMとRouting APIの範囲を整理します。秘密情報や個人情報はフォームへ入力せず、詳細データの共有方法は相談後に決めます。

共同検証を相談する

Early Access / 法人向け