Implementation Case
センシティブなLLM分類器で、判定精度より先にHITLと責任境界を設計した
二値分類の実装依頼に見えた案件で、先に解くべき問題はモデル選定ではなく、分類基準、誤判定の影響、最終判断の責任でした。
- Author
- 中村泰行 / Yasu Nakamura
- Scope
- 課題分解、階層的タクソノミーの設計、LLM分類器プロトタイプ、Human-in-the-Loopの運用設計。
- Published
Problem
一つの分類器に、異なる目的が混在していた
01 / Rules
ルール分岐が保守可能な範囲を超える
人の判断をすべてルールへ置き換えると、例外と分岐が増え、実装と更新が担当者依存になります。
02 / Harm
偽陽性の影響が技術指標だけで閉じない
誤って陽性と判断した結果が、その後の運用によっては人権上の影響につながり得るため、分類精度だけでは受容可否を決められませんでした。
03 / Purpose
現在の判定と将来の兆候検知が同居する
「すでに該当するか」と「今後該当しそうか」は、必要な証拠と誤りの意味が異なります。同じラベルへ押し込むと、利用者が出力を過大解釈します。
Design Decision
モデルの外側に、三つの統制を置いた
AIは分類候補と根拠を出す。最終判断と、その判断をどう使うかの責任は人が持つ。
-
01 / Taxonomy
目的、仕組み、具体動作を分ける
分類基準を階層化し、「今は何について判断しているか」を関係者が追跡できる構造にしました。LLMへの指示より前に、ラベルの意味と境界を定義します。
-
02 / Human-in-the-Loop
AI出力を最終成果物に直結させない
AIの分類結果はアナリストやコンサルタントが確認し、文脈、反証、影響を踏まえて採否を決めます。確信度の数値も、判断責任の代替には使いません。
-
03 / External Validation
独自基準を組織内の正しさで閉じない
センシティブな分類基準には、関係するステークホルダーや専門コミュニティによる検討が必要だと位置づけました。これは設計上の要求であり、公開記録の時点では残課題です。
What Was Built
公開できる実装範囲
- Classification Model
- 定義済みタクソノミーに沿って入力を分類し、分類候補と強度・確信度を構造化して返すLLMプロトタイプ。
- Review Flow
- AI出力を人が確認し、最終成果物へ反映するかを判断するHuman-in-the-Loopの工程。
- Governance Boundary
- モデルが出せるもの、人が承認するもの、外部合意が必要なものを分ける責任境界。
Limits
公開情報からは断定しないこと
- 本番環境での精度、偽陽性率、偽陰性率、処理時間、費用削減は公開されていません。
- タクソノミーが外部コミュニティから承認済みとは述べません。公開記録では今後の要件です。
- Human-in-the-Loopがあれば誤判断を防げるとは限りません。レビュー基準、時間、権限、異議申立てまで設計する必要があります。
Source & Next Step
原文と関連する支援領域
本ページは、2026年4月26日にnoteで公開した実案件ベースの記事を、ガバナンス上の判断と公開できる証拠範囲が分かる形に再構成したものです。