系统架构
深入了解 GPT-Load 的技术架构和设计理念
架构概览
高性能透明代理架构
基于 Go 语言构建的高性能 OpenAI API 代理服务，支持多密钥轮换、负载均衡和智能故障切换
API 网关
统一的 API 入口和路由
负载均衡
智能密钥轮换和分发
数据存储
MySQL + Redis 双重存储
安全监控
限流、认证和监控
系统组件
核心服务层
API 代理服务
- • HTTP/HTTPS 透明代理
- • 请求路由和转发
- • 响应流式处理
- • 错误处理和重试
负载均衡器
- • 轮询（Round Robin）算法
- • 权重分配策略
- • 健康检查机制
- • 故障自动切换
管理服务层
Web 管理界面
- • Vue 3 + TypeScript
- • Naive UI 组件库
- • 实时监控面板
- • 配置管理界面
REST API
- • 密钥管理接口
- • 统计数据接口
- • 系统配置接口
- • 监控指标接口
数据存储层
MySQL 数据库
- • 密钥和配置持久化
- • 用户认证数据
- • 历史统计记录
- • 系统日志存储
Redis 缓存
- • 密钥状态缓存
- • 限流计数器
- • 分布式锁机制
- • 会话状态管理
数据流向
1
客户端请求 → API 网关接收 OpenAI 兼容请求
2
密钥选择 → 负载均衡器选择可用的 API 密钥
3
请求转发 → 代理服务转发请求到 OpenAI API
4
响应处理 → 流式响应处理并返回给客户端
5
数据记录 → 统计数据和日志记录到数据库
部署架构
单机部署
适用场景
- • 中小规模应用
- • 开发测试环境
- • 个人项目使用
集群部署
适用场景
- • 大规模生产环境
- • 高可用性要求
- • 企业级应用
技术栈
后端技术
- Go 1.23+
- Gin Web 框架
- GORM ORM
- Go-Redis
前端技术
- Vue 3
- TypeScript
- Naive UI
- Vite
基础设施
- MySQL 8.2+
- Redis
- Docker
- Nginx
设计原则
高性能
基于 Go 语言的高并发处理能力，支持数千 QPS 的请求处理
高可用
故障自动切换、健康检查和分布式部署保障服务可用性
可扩展
模块化设计和微服务架构，支持水平扩展和功能扩展
透明代理
完全兼容 OpenAI API，无需修改现有代码即可接入