インテリジェントキー管理
GPT-Loadはポーリング負荷分散、自動障害検出と復旧メカニズムを通じてインテリジェントキー管理機構を採用し、サービスの高可用性と安定性を確保します。
ポーリングメカニズム
目標
グループ内の複数キー間での要求の公平な負荷分散を実現。
実装方式
アトミックカウンター
高同時実行下でのポーリング一貫性と公平性を保証
ステータスフィルタリング
ポーリング範囲はグループ内の「有効」ステータスのキーに限定
リトライと障害処理
トリガーシナリオ
リクエストが失敗した場合（HTTPステータス≥400またはネットワークエラー）に自動的にトリガー
処理フロー
1
失敗マーク
現在失敗したキーの失敗カウントを1増やす
2
新しいキーを取得
ポーリングメカニズムを通じてグループ内の次の利用可能なキーを即座に取得
3
透明リトライ
新しいキーを使用してリクエストを再実行、クライアントには透明
4
リトライ上限
設定された最大リトライ回数。すべての試行が失敗した場合、最終エラーをクライアントに返す
キーブラックリストと復旧
ブラックリストメカニズム
トリガー条件
キーの累積失敗回数がブラックリスト閾値に達した時
実行アクション
キーステータスを「無効」に更新
ポーリングキューから除去、新しいリクエストを受け取らない
復旧メカニズム
トリガータイミング
キー検証間隔サイクルに従って実行されるバックグラウンド定期タスク
復旧フロー
1
ヘルスチェック
ブラックリストされたキーを使用して検証エンドポイント（モデルリストなど）をリクエスト
2
検証成功
• キーステータスを「有効」に復元
• 失敗カウントを0にリセット
• ポーリングキューに再追加
3
検証失敗
「無効」ステータスを維持、次の検査サイクルを待つ
メカニズムの利点
負荷分散
アトミックカウンターが高同時実行下での公平なポーリングを保証
自動復旧
定期的なヘルスチェックと障害キーの自動復旧
障害分離
障害キーを迅速に特定し、サービスの安定性を確保