这个项目由他们支持
GPT-Load 以 MIT 协议开源。服务器、模型额度和开发时间,来自下面这些赞助方。
它替你处理的六件事
这些事本来要在每个应用里各写一遍,或者干脆不写、出问题再说。放进网关之后,写一次,所有客户端都受益。
一套调度,两种凭据
API 密钥和订阅账号(Codex、Claude、Antigravity、Grok)进同一个池子,共用同一套调度、重试、冷却与健康隔离,不用为订阅账号单开一套运维。
客户端不改协议
支持 OpenAI Chat Completions、OpenAI Responses、Anthropic Messages、Gemini;网关按所选渠道的声明使用原生路由或转换。已有客户端通常只需修改基础 URL 和访问密钥。
坏了自己切走
加权轮转、会话亲和、失败重试、过热冷却、连续报错自动拉黑。单个凭据限流或失效,不会拖垮整条链路,也不需要你半夜起来改配置。
每一次调用都看得见
健康状态、路由检查、请求日志、用量汇总、按模型的成本估算。哪个凭据在扛量、哪个在冷却、钱花在哪个模型上,都能查到具体那一条。
一个二进制,数据在你手里
管理台内嵌在同一个 Go 二进制里,SQLite 默认起步,也可以接 MySQL 或 PostgreSQL。渠道凭据在本地加密落盘,不经过任何第三方。
23 个内置渠道
官方 API、云平台、模型服务、订阅账号,以及 GPT-Load、New API、CLIProxyAPI 和 OpenAI Compatible 等网关渠道均已内置。具体能力以支持矩阵为准。
四种协议进来,23 个渠道出去
客户端协议和上游渠道由网关衔接;各渠道支持的协议与 Operation 不同,具体以能力矩阵为准。
- OpenAI
- Anthropic
- Gemini
- xAI
- Azure OpenAI
- AWS Bedrock
- Google Vertex AI
- DeepSeek
- Moonshot AI
- SiliconFlow
- 智谱 AI
- 阿里云
- 火山引擎
- OpenRouter
- Groq
- Codex
- Claude
- Antigravity
- Grok
三步配完,之后不用再动
要管的只有两样东西:分组朝上游,访问密钥朝应用。中间的调度、重试、计费统计,网关自己完成。
建一个分组
选一个上游渠道,把 API 密钥粘进去。Codex、Claude 这类订阅账号则走 OAuth 授权,之后共用同一套调度。
选开放的模型
勾选这个分组对外提供哪些模型,可以从上游自动发现。顺手还能调权重、超时、重试这些运行策略。
发一把访问密钥
指定它能用哪些分组、哪些客户端协议,设好限流和成本上限,把生成的密钥交给应用。这是应用唯一需要知道的东西。
一条命令起服务,客户端改两行
不需要数据库、不需要单独部署前端。管理台内嵌在同一个二进制里。
git clone --depth 1 --branch v2 \ https://github.com/tbphp/gpt-load.git cd gpt-load && cp .env.example .env docker compose up -d # 取出首次生成的管理密钥 docker compose exec gpt-load \ sh -c 'cat /app/data/auth.key'
client = OpenAI(
base_url="http://127.0.0.1:3001/v1", # 改这行
api_key="sk-gl-••••a5df", # 改这行
)
# Anthropic 客户端走 /v1/messages
# Gemini 客户端走 /v1beta/models/…认证方式按各客户端原本的习惯来:Authorization: Bearer · x-api-key · x-goog-api-key · Gemini key 查询参数都支持。
五个构建目标
Linux 与 macOS 各有 amd64、arm64,Windows 为 amd64。下载后先用随附的 SHA256SUMS 校验,再直接运行;Windows 另有可装成服务的安装包。
SQLite 起步,随时可换
留空 DATABASE_DSN 使用受管 SQLite;填入 DSN 即可切到外部 SQLite、MySQL 或 PostgreSQL。
密钥和数据库要一起备
encryption.key 用于解密渠道凭据。密钥丢失或被替换后,已加密的凭据无法恢复,本版本不支持主密钥轮换。
配置和观测在同一个地方
管理台随二进制一起分发,不需要另外部署前端。打开浏览器就能配渠道、看健康、查日志、算成本。
分组列表把渠道、连接方式、模型数量和凭据健康放在同一屏。API 密钥与订阅账号统一呈现可用性和调度状态。
可用、冷却和拉黑凭据一眼可见,异常凭据、恢复时间、请求日志采集与分组健康集中在同一页。
上生产之前,先看这三条
用量与成本是估算
依据上游返回值推算,用于运营分析和容量规划,不等于服务商账单,也不能作为财务对账依据。价格变更不回算历史数据。
面向单应用实例
2.0 只保证单实例正确性。实例之间不共享状态,不支持水平扩展。需要更大规模时,按业务维度拆成多个独立部署。
1.x 不能原地升级
2.0 是完全重写,无法打开、导入或迁移 1.x 数据。请用独立的数据库、DATA_DIR、端口和卷部署,验证通过后再切流量。
服务默认只监听 127.0.0.1,不对公网开放。需要远程访问时,请通过受控网络或 TLS 反向代理暴露,并配置好 ACL 与防火墙规则。AUTH_KEY 与 ENCRYPTION_KEY 请妥善保管,不要提交到仓库、日志、截图或公开 issue 中。
