文档/ 开始使用
快速开始
从一台空机器到第一个请求返回结果,大约十分钟。不需要先理解任何概念,跟着做就行。
开始之前§
准备两样东西:
- 装好 Docker 和 Docker Compose 的机器
- 一个上游服务的 API 密钥——OpenAI、Anthropic、Gemini、DeepSeek 都行,有哪个用哪个
不需要准备数据库,默认用内置的 SQLite。也不需要单独部署前端, 管理台就在同一个程序里。
一 · 启动服务§
拉起服务
git clone --depth 1 --branch v2 \ https://github.com/tbphp/gpt-load.git cd gpt-load cp .env.example .env docker compose up -d
确认服务起来了:
curl --fail http://127.0.0.1:3001/health
返回正常就说明服务在跑。它默认只监听本机,外网访问不到—— 这是有意的,远程访问的正确做法见 安全与上生产。
二 · 登录管理台§
首次启动会自动生成一把管理密钥,读出来:
docker compose exec gpt-load \
sh -c 'cat /app/data/auth.key'打开 http://127.0.0.1:3001,把这串密钥填进去。
也可以
不想用自动生成的密钥,就在启动前于 .env 里设 AUTH_KEY。 另有一把 ENCRYPTION_KEY 用来加密你填进去的上游凭据, 它和数据库必须一起备份——丢了就解不开了。
三 · 建一个分组§
分组是「对接哪个上游、用哪些密钥」的集合。点分组 → 导入渠道凭据 → 新建分组,第一步是选渠道:
常用渠道直接显示为按钮,其余渠道从「其他渠道」里选择。
选好渠道后,把 API 密钥粘进凭据框,再通过模型表格添加这个分组要开放的模型:
一个分组可以放多把密钥,网关会在它们之间轮转;某把失效会自动避开,不影响其他。
保存之后这个分组就可用了。想了解每个选项的含义,见 分组与渠道。
四 · 创建访问密钥§
分组管的是上游,访问密钥管的是「哪个应用能用什么」。 点访问密钥 → 新建,勾上刚建的分组,选好允许的协议,保存。
生成的这串密钥就是交给应用的东西——应用不需要知道背后有几个分组、 几把上游密钥。
五 · 发第一个请求§
把下面的密钥和模型名换成你自己的:
cURL
export GPT_LOAD_KEY="你的访问密钥" curl http://127.0.0.1:3001/v1/chat/completions \ -H "Authorization: Bearer ${GPT_LOAD_KEY}" \ -H "Content-Type: application/json" \ -d '{"model": "你的模型名", "messages": [{"role": "user", "content": "你好"}]}'
拿到回复,整条链路就通了。换成已有的客户端也一样,通常只改两处:
Python — OpenAI SDK
client = OpenAI(
base_url="http://127.0.0.1:3001/v1", # 改这行
api_key="你的访问密钥", # 改这行
)管理台首页能直接生成各客户端的接入参数,不用自己拼:
选好访问密钥和目标客户端,参数直接生成,复制即可。