智能密钥管理
GPT-Load 采用智能密钥管理机制，通过轮询负载均衡、自动故障检测和恢复机制， 确保服务的高可用性和稳定性。
轮询机制
目标
实现请求在分组内多个密钥间的公平负载均衡。
实现方式
原子计数器
保证高并发下的轮询一致性和公平性
状态过滤
轮询范围仅限于分组内状态为“有效”的密钥
重试与故障处理
触发场景
当请求失败时（HTTP Status ≥ 400 或网络错误）自动触发
处理流程
1
标记失败
为当前失败的密钥失败计数加一
2
获取新密钥
立即通过轮询机制获取分组内下一个可用密钥
3
无感重试
使用新密钥重新发起请求，此过程对客户端无感
4
重试上限
配置的最大重试次数。若所有尝试均失败，则向客户端返回最终错误
密钥拉黑与恢复
拉黑机制
触发条件
当密钥的累计失败计数达到黑名单阈值
执行动作
密钥状态更新为“无效”
从轮询队列中移除，不再接收新请求
恢复机制
触发时机
后台定时任务，按密钥验证间隔周期执行
恢复流程
1
健康检查
使用被拉黑的密钥请求验证接口（如 models 列表）
2
验证成功
• 密钥状态恢复为“有效”
• 失败计数重置为 0
• 重新加入轮询队列
3
验证失败
保持“无效”状态，等待下一个检查周期
机制优势
负载均衡
原子计数器保证高并发下的公平轮询
自动恢复
定时健康检查，故障密钥自动恢复
故障隔离
快速识别故障密钥，确保服务稳定性