モデル管理
クライアントには使い慣れたモデル名を使わせつつ、コスト見積もりに使う価格の出所も確認できるようにします。
二つのレベル§
モデル設定は次の2か所に分かれています：
- Groupの「モデル」タブ — このGroupが外部に公開するモデルを決定します。この一覧にあるモデルだけをリクエストできます。
- モデルページ — コスト見積もりに使うグローバルなモデル価格と仕様です。
日常的なモデル設定は主にGroupで行います。Groupとチャネルを参照してください。このページでは、Group内のモデルとエイリアス、グローバル価格を説明します。
モデル検出§
モデル名を手入力する必要はありません。Groupの「モデル」タブでアップストリームからモデル一覧を取得し、必要なモデルを選択します。
検出結果はアップストリームの一覧に依存します。プロバイダーによっては不要なモデルも多数含まれるため、実際に使うモデルだけを選択してください。範囲を絞ると、高価なモデルの誤用を防ぎ、トラブルシューティングもしやすくなります。
利用可能なモデルがアップストリーム一覧にない場合は、手動で追加できます。
一覧はアップストリームの応答に基づきます。選択したモデルだけが外部に公開されます。
モデルエイリアス§
エイリアスはGroupの「モデルと別名」タブで設定し、クライアントが要求する名前と、アップストリームで実際のモデル名が一致しないという実際的な問題を解決します。
主な用途：
- プロバイダーを変えてもコードは変更しない — アプリケーション側のモデル名を変えず、ゲートウェイで別のアップストリームモデルへ割り当てます。
- 統一命名 — プロバイダーごとに異なる同一モデルの名前を、エイリアスで統一します。
- バージョン収束 — 日付サフィックス付きの具体的なバージョンを、安定した1つの名前にマッピングします。
アプリケーションはエイリアスを指定し、ゲートウェイが転送時に実際のアップストリームモデル名へ置き換えます。
価格はどこから来るのか§
コスト見積もりにはモデル価格が必要です。価格には2つの情報源があります：
- 自動同期 — 公開価格データソースmodels.devから一般的なモデルの価格を取得します。
- 手動で入力 — データソースにない価格や、個別契約の価格を入力します。
価格の自動同期は設定で無効にできます。実行時設定を参照してください。無効にすると、すべての価格を手動で管理します。
価格はトークン種別ごとに定義します。これは正確なコスト見積もりの前提です：
- 入力／出力 — 基本となる2つのトークン種別です。
- キャッシュ読み取り — 通常の入力トークンより大幅に安い価格です。
- キャッシュ書き込み — 一部のプロバイダーは個別に課金します。
一部のモデルはコンテキスト長による段階価格にも対応します。指定したコンテキスト長を超えた場合に単価を上げる段階価格を設定できます。
手動で価格を変更§
自動同期された価格は手動で上書きできます。変更した項目は手動管理としてマークされ、その後の自動同期では変更内容を上書きしません。
自動同期された値に戻すには「リセット」を使います。
企業向けの契約価格、中継サービス独自の価格、公開データソースにないモデルを使う場合は、価格を手動入力してください。このような場合、公開価格の自動同期値は正確ではありません。
価格がない場合§
価格データがなくてもリクエストは失敗しません。モデルは引き続き利用できますが、その使用量はコスト見積もりに含まれません。監視ページの「コスト未設定」に集計されます。
コスト見積もりが明らかに低い場合は、監視とトラブルシュートの「データ完全性」を確認します。「コスト未設定」が多ければ、価格データのないモデルを補ってください。
もう1点、価格変更は過去のデータに遡って適用されません。今日追加した価格は今後の統計にだけ反映され、過去のリクエストは未計上のままです。