3行でいうと

  • 振り分けには、クラウドが自動で決める型、自分のコードで決める型、強いモデルと安いモデルを組む型の3つがあります。OpenAIとAnthropicの文書は、自分の用途で試してから決めるように書いています。
  • 自動ルーターには制限があります。AmazonのBedrockは英語のプロンプト向けに最適化されたもので、MicrosoftのModel routerは、文脈の長さが一番小さいモデルに制限されます。
  • Anthropicの自社測定では、「強いモデルを1つ、低めの設定で使う」ほうが、組むより良い結果になった例(作業が1本の依存した鎖のとき)や、助言役を付けても効かなかった例があります。また、モデルを替えるより同じモデルのeffort(考える量)の調整のほうが効くことが多い、とも書かれています。

この記事は、実際に使って確かめた記録ではありません。この記事は公式の文書を読んでまとめたもので、実際に使って確かめた記録ではありません。情報は2026年10月16日に確認し、10月22日に読み直しました。モデル名や数字は変わることがあります。

先に結論

3つの型を並べる

型 誰が決めるか 公式の例 向く場面
①自動ルーター クラウド側の学習済みの仕組み Amazon Bedrock Intelligent Prompt Routing、Microsoft Foundry Model router 複雑な振り分けのコードを書きたくない
②自分で選ぶ 開発者(設定やコード) OpenAIのModel selection、AnthropicのChoosing a model 用途ごとに使うモデルを固定できる
③組み合わせる 開発者が作った役割分担 Anthropicのexecutor/advisor、orchestrator/workers 長い作業で、難しい場面が一部だけ

型①:クラウドの自動ルーター

Amazon Bedrock

AWSの文書によると、Intelligent Prompt Routingは、同じモデルの系統の中で、1回ごとの頼みごとを見て、各モデルの返事の品質を予測して、送り先を決める仕組みです。返事には、使われたモデルの情報が入ります。

設定は2種類あります。既定のルーター(Amazon NovaまたはMeta Llamaのモデルを使う。リージョンによる)と、自分で作るルーターです。後者は、モデルを2つ(コンソールの場合)と、基準になる「フォールバックモデル」、それに「品質の差」の基準を決めます。基準を満たさない場合は、指定したフォールバックモデルに送られる、と書かれています。

読んだ範囲で、はっきり書かれている制限は次のとおりです。

料金と待ち時間は、このページには書かれていませんでした。

Microsoft Foundry(Model router)

Microsoftの文書によると、Model routerは、頼みごとの複雑さや種類を見て、適したモデルに送る、学習済みのモデルです。ほかのモデルと同じようにデプロイ(設置)して使い、modelにはデプロイの名前を指定します。使われた相手は、応答のmodel欄で分かります。

Microsoftの文書は、「バランス」(既定)、「コスト」、「品質」の3つのモードを説明しています。品質差の割合の数字は「例」であって固定の基準ではない、と書かれています。各モードの細かい挙動は、公式ページで確認してください。

重要な制限もあります。

見立てです。自動ルーターの強みは、「自分では振り分けの基準を作らなくてよい」ことで、弱みは「基準が中で見えず、振り分け先が変わりうる」ことだと思います。Microsoftの文書にも、自動更新を選ぶと振り分け先のモデルの組が変わりうる、と書かれています。

Microsoft Model routerの数字と仕様(公式の記載)

Microsoftの文書(2026年10月22日に読み直した時点)によると、次のとおりです。

  • 最新版は2025-11-18で、35のモデルが振り分け先に並んでいます(OpenAI 19、Anthropic 8、xAI 3、Fireworks 3、DeepSeek 1、Meta 1)。古い2つの版は、モデルの組が固定されています。
  • 振り分け先に入れるモデルは、自分で絞れます(部分集合)。Claudeのモデルは、先に別にデプロイしておく必要があります。
  • 失敗したときの付け替え(フェイルオーバー)があります。独自の部分集合では、その中が付け替え先になるので、2つ以上入れることが勧められています。
  • 料金について、概念のページは入力のプロンプトに課金されると書き、設定のページは、費用は振り分け先の基になるモデルで生じた費用の合計、と書いています。2つの記述の関係は、読んだ範囲では分かりませんでした。料金ページを直接確認してください。
  • 設定の変更が反映されるまで、最大5分かかります。
  • 「セッション親和性」(プレビュー)は、関連する頼みごとで同じモデルをなるべく選ぶ機能です。キャッシュの命中は保証されません。
  • 対応リージョンは、Global Standardで32、そのうちData Zone Standardでも使えるのが23、と書かれています。

型②:自分で決める

OpenAIの指針

OpenAIのModel selectionの文書は、3つのモデル(Astra、GPT-6.1 Sol、Luna)を取り上げ、モデルごとに推論の深さ(Low、Medium、Extra high)の選択肢を挙げています。例として、Astraは3段階すべて、GPT-6.1 SolはMediumとExtra high、LunaはLowとExtra highが並んでいます。モデルごとの向き不向きの細かい説明は、僕らの記録に残っていないため、ここでは書きません。

選ぶときに見る点として、4つの要素が挙がっています(個々の中身は、僕らの記録に残っていません)。そして、「基準を満たす中で一番軽い設定」を残すように、と書かれています。この文書には、評価(evals)や、小さいモデルへの切り替えの具体的な手順は載っていませんでした。

別の文書(Latency optimization)は、もう少し設計寄りです。小さいモデルは、狭くて決まった作業に向く。開かれた返事は大きいモデルに残す。モデレーションのような「ほぼ一方の結果になる確認」は、確認と本命の処理を同時に始め、確認の結果が予想と違えば本命を取り消す、という方法がある、と書かれています。同時に、作業を分けると返事が悪くなる場合の仮定の例も載っていて、分け方は本番に近い例で試すように、とあります。

OpenAIのCost optimizationの文書も、費用を下げる基本として、頼みごとの回数を減らす、トークンを減らす、精度が保てるなら小さいモデルを選ぶ、の3つを挙げています。Batch APIや、遅くなったり使えなかったりすることがあるFlex processingも紹介されていますが、このページには割引の数字は書かれていませんでした。どの作業にどのモデルを当てるかの対応表も、ありませんでした。

Anthropicの指針

Anthropicの「Choosing a model」は、選ぶ軸を、能力、速さ、費用、effort(考える量)の4つとしています。さらに、同じモデルの中で「effort」(考える量の設定)を調整するほうが、モデルを替えるより効くことが多い、と書いています。

出発点は2つです。効率優先は、小さいモデル(Haiku 5.5)から始めて、足りない所だけ上げる。能力優先は、強いモデル(Opus 5.5)から始めて、設定やモデルを徐々に下げる。どちらでも、最も大事な手順は、自分の用途のテストを作ることだと書かれています。

型③:組み合わせる

Anthropicの「Optimizing for cost and intelligence」は、組み合わせ方を2つに分けています。

advisor(助言役) orchestrator(指揮役)
動かす側 小さいモデルが全体を回し、難しい所で強いモデルに相談する 強いモデルが全体を回し、大量の作業を安いモデルに任せる
向く仕事 順番に進み、一部だけ難しい作業 独立した多数の部分に分かれ、1回の文脈に収まらない作業
強いモデルの費用 実行役が行き詰まる頻度で決まる 部分をまとめる難しさで決まる

大事なのは、これが「万能の節約術」として書かれていないことです。下の測定例にも、組み合わせが効かなかった例が並びます。

Anthropicの測定例(社内の数字。方向を示すもの)

Anthropicの文書(2026年10月22日に読み直した時点)の例です。いずれもAnthropic社内の測定です。

advisor型

  • 社内のテスト:Opus 5.5を実行役、Fable 5.1を助言役にすると、90.1%(実行役だけより1.7ポイント高いが、公式はこれを試行ごとのばらつきの境目と書いています)。費用は実行役だけの約2.1倍。
  • GPQA Diamond(198問):助言役を付けたところ、助言役は一度も呼ばれませんでした。費用は、Haiku 5.5の組み合わせで12%、Sonnet 5.5の組み合わせで25%増えた。
  • Chartography:実行役だけより7ポイント低く、助言役が呼ばれたのは300件中1件。

つまり、助言役が効くのは「実行役が相談したとき」だけです。助言用の道具の定義が約1,000トークン分ほど加わる、とも書かれています。自分の仕事で相談の回数をまず測ること、モデルが更新されるたびに測り直すことは、僕らの見立てです。

orchestrator型

  • 欠陥探し(2,160万トークンのコードで、130個の欠陥を探す測定):Fable 5.1だけだと、約15〜20時間かかった。Fable 5.1が指揮し、25のSonnet 5が作業する形は、費用が約半分、時間は2.3時間で、点数は10〜12ポイント低かった。
  • 一方、作業が「1本の依存した鎖」の場合は、指揮役のモデルを低いeffortで単独で使うほうが上だった、と書かれています。

設計の判断基準(見立て)

ここからは僕らの見立てです。公式の文書を踏まえて整理しました。

  1. まず「1つのモデルの設定を振る」。 Anthropicは、モデルを替える前にeffortの設定を見るように書き、OpenAIも、基準を満たす中で一番軽い設定を残すように書いています。振り分けは、そのあとに足す層です。
  2. 振り分けの基準が、見えるか。 自動ルーターは手間が減りますが、基準を変えられない・見えにくい面があります。自分で決める型は、手間が増える代わりに、理由を説明できます。
  3. 失敗を、安いほうに寄せない。 安いモデルの失敗が、取り返しにくい作業(送信、削除、支払い)で起きると、節約より損が大きくなります。そういう場面は、強いモデルに固定するか、人の確認を入れる、と考えます。
  4. ルーター自体の費用と遅れを足して比べる。 振り分けの判断にも時間がかかります。「小さいモデルの判断を1回挟む」ぶんが、節約を超えないか確かめます。
  5. ログに、どのモデルが答えたかを残す。 品質が下がったときに、原因をたどれるようにするためです。Microsoftは応答のmodel欄、AWSは応答に使われたモデルの情報が入る、と書いています。

よくある落とし穴

気をつけること

出典

更新履歴