文档/ 开始使用

快速开始

从一台空机器到第一个请求返回结果,大约十分钟。不需要先理解任何概念,跟着做就行。

开始之前§

准备两样东西:

  • 装好 DockerDocker Compose 的机器
  • 一个上游服务的 API 密钥——OpenAI、Anthropic、Gemini、DeepSeek 都行,有哪个用哪个

不需要准备数据库,默认用内置的 SQLite。也不需要单独部署前端, 管理台就在同一个程序里。

一 · 启动服务§

拉起服务
git clone --depth 1 --branch v2 \
  https://github.com/tbphp/gpt-load.git
cd gpt-load

cp .env.example .env
docker compose up -d

确认服务起来了:

curl --fail http://127.0.0.1:3001/health

返回正常就说明服务在跑。它默认只监听本机,外网访问不到—— 这是有意的,远程访问的正确做法见 安全与上生产

二 · 登录管理台§

首次启动会自动生成一把管理密钥,读出来:

docker compose exec gpt-load \
  sh -c 'cat /app/data/auth.key'

打开 http://127.0.0.1:3001,把这串密钥填进去。

FIG. 1 — 登录填入管理密钥
也可以

不想用自动生成的密钥,就在启动前于 .env 里设 AUTH_KEY。 另有一把 ENCRYPTION_KEY 用来加密你填进去的上游凭据, 它和数据库必须一起备份——丢了就解不开了。

三 · 建一个分组§

分组是「对接哪个上游、用哪些密钥」的集合。点分组 → 导入渠道凭据 → 新建分组,第一步是选渠道:

FIG. 2 — 选择渠道渠道是建分组时选的

常用渠道直接显示为按钮,其余渠道从「其他渠道」里选择。

选好渠道后,把 API 密钥粘进凭据框,再通过模型表格添加这个分组要开放的模型:

FIG. 3 — 填好的分组渠道 · 凭据 · 模型

一个分组可以放多把密钥,网关会在它们之间轮转;某把失效会自动避开,不影响其他。

保存之后这个分组就可用了。想了解每个选项的含义,见 分组与渠道

四 · 创建访问密钥§

分组管的是上游,访问密钥管的是「哪个应用能用什么」。 点访问密钥 → 新建,勾上刚建的分组,选好允许的协议,保存。

生成的这串密钥就是交给应用的东西——应用不需要知道背后有几个分组、 几把上游密钥。

五 · 发第一个请求§

把下面的密钥和模型名换成你自己的:

cURL
export GPT_LOAD_KEY="你的访问密钥"

curl http://127.0.0.1:3001/v1/chat/completions \
  -H "Authorization: Bearer ${GPT_LOAD_KEY}" \
  -H "Content-Type: application/json" \
  -d '{"model": "你的模型名", "messages": [{"role": "user", "content": "你好"}]}'

拿到回复,整条链路就通了。换成已有的客户端也一样,通常只改两处:

Python — OpenAI SDK
client = OpenAI(
    base_url="http://127.0.0.1:3001/v1",   # 改这行
    api_key="你的访问密钥",          # 改这行
)

管理台首页能直接生成各客户端的接入参数,不用自己拼:

FIG. 4 — 一键接入选密钥与客户端,自动生成参数

选好访问密钥和目标客户端,参数直接生成,复制即可。

接下来§

快速开始 - GPT-Load