実行時設定
これらのパラメーターは管理画面で変更するとすぐ反映され、再起動は不要です。環境変数とは異なり、環境変数を変更した場合は再起動が必要です。
二層の設定§
同じパラメーターが次の2階層にあります：
- システムレベル — 「設定」ページで指定するグローバルデフォルトです。
- Groupレベル — Groupの「設定」タブで指定し、記入すればシステム値が上書きされ、空欄の場合は継承されます。
このような設計にしたのは、異なるアップストリームの特性が大きく異なるためです：サービスによっては応答が遅いが安定しているものもあれば、速いが時々不安定なものもあり、同じタイムアウトと再試行のパラメータを使うのは適切ではありません。
Group内に個別設定がない場合は、ここでの値が使用されます。
Groupの「設定」タブには、システムから継承した値とこのGroupで上書きした値が表示されます。Groupごとの動作差を調べるときは、まずここを確認してください。
三種類のタイムアウト§
3つのタイムアウトはリクエストの異なる段階を対象にします。症状に合う項目を調整してください：
| パラメータ | 管理内容 | 調整すべき症状 |
|---|---|---|
| 最初のバイトのタイムアウト | リクエスト送信から最初のバイト受信まで | アップストリームで待機が長い場合、リクエストが応答を開始する前に失敗と判定される |
| リクエストのタイムアウト | リクエスト全体の総時間上限です。 | 長出力タスクが途中で中断された |
| ストリームアイドルタイムアウト | ストリーミング応答で、二つのデータブロック間の最大間隔 | ストリーミング出力が途中で長時間停止するが、接続は切れない |
推論モデルは最初のバイトタイムアウトに特に注意 — 出力開始前に長時間推論することがあるため、デフォルト値が短いと失敗と誤判定されます。
再試行とブラックリスト§
- 再試行回数 — 失敗後に認証情報を切り替えて再試行する最大回数です。増やすと成功率が上がる一方、失敗時の所要時間も長くなります。
- ブラックリスト閾値 — 連続失敗が何回で自動的にブラックリストへ入るかを設定します。小さくすると不良認証情報を早く隔離できますが、一時的な失敗にも反応しやすくなります。
両方の詳しい仕組みはスケジューリングの仕組みを参照してください。
セッションアフィニティ§
有効にすると、ゲートウェイは AccessKey、クライアントプロトコル、リクエスト内の instructions または最初のユーザー入力の先頭部分からソフトアフィニティキーを生成します。同じ安定したプレフィックスを持つリクエストは、できる限り同じ認証情報へ送られます。設定項目は3つです：
- スイッチ — 機能の有効・無効を設定します。
- TTL — アフィニティレコードの保持時間です。
- 容量 — 記憶するセッションの最大数です（デフォルトは10,000）。
アフィニティ機構はprevious_response_id、conversationなどのアップストリームリソース ID を参照しません。同じプロンプトプレフィックスを持つ通常のリクエストで認証情報をできるだけ再利用する用途には適していますが、ステートフルなリソースが作成元の認証情報へ戻ることは保証できません。このようなリソースでは認証情報を1つだけ使用するか、認証情報間で共有できることをアップストリーム側で確認してください。
ログの保持§
リクエストログの保持日数でログ保持期間を設定します。デフォルトは7日で、期限後に自動削除されます。
増やすと古い履歴を確認できますが、データベースは増え続けるため、リクエスト量が多い場合はディスク容量に注意してください。SQLiteでは特に注意が必要です。
その他の設定§
- チェック間隔 — 認証情報の可用性を検証する間隔です。
- モデル価格自動同期 —— 公開データソースから価格を同期するかどうか（モデル管理 を参照）。この項目は環境変数
MODELS_DEV_AUTO_SYNC_ENABLEDに引き継がれる場合があり、その変数を設定するとここは読み取り専用になります（環境変数 を参照） - リクエストヘッダールールと使用オプション注入 — 非標準のシナリオ向けです。代理とリクエストヘッダーを参照してください。
いつ調整すべきか§
デフォルト値はほとんどの場合に適用されます。明確な症状がない場合は変更しないでください。タイムアウトやリトライをむやみに増やすと、失敗までの時間が延びるだけです。
症状に応じて調整します：
- 推論モデルが頻繁にタイムアウトする → 最初のバイトまでのタイムアウトを延長します。まず対象Groupだけで調整してください。
- 長文タスクは短縮されます → リクエストタイムアウトを延長します。
- ストリーミング出力が途中で切断される → ストリームアイドルタイムアウトを延長します。
- 良い認証情報が頻繁にブラックリストに入る → ブラックリストしきい値を上げます。
- 無効な認証情報の隔離が遅すぎる場合 → ブラックリストしきい値を下げます。
- ステートフルリクエストでコンテキストが見つからないと報告される → 認証情報を1つだけ使用するか、認証情報間でリソースを共有できることをアップストリーム側で確認する
調整前に監視とトラブルシュートで症状を確認し、症状に関連する項目だけを変更する。変更後はしばらく観察してから次の項目を調整します。