LLMIO

LLMIO

LLMIO 是一款基于 Go 语言开发的 OpenAI 接口负载均衡工具,支持多模型和多提供商智能路由,配有现代化 Web 管理界面,方便监控和管理系统。

307GitHub
应用介绍

访问令牌为admin123 • 支持通过统一 API 接入多种大语言模型(如 OpenAI) • 提供带权重的随机选择和基于成功率/响应时间的智能负载均衡 • 同时支持流式和标准响应模式 • 自动处理各类速率限制 • 详细日志记录和使用情况统计 • 直观的 Web UI 管理界面,方便管理和监控 • 实时查看请求统计、模型使用情况和请求日志 • 内置提供商连通性测试功能

应用截图
Screenshot 1
Screenshot 2
Screenshot 3
Screenshot 4
应用信息
版本
0.3.0
安装包大小
471.94 KB
镜像大小
12.96 MB
更新时间
2025年10月10日
源代码
atopos31
平台支持
PC
关键词
LLMOpenAI负载均衡API多模型管理界面