LiteLLM

## 介绍 LiteLLM 是由 BerriAI 开发的一款 Python SDK 及代理服务器（LLM Gateway），可统一调用超过 100 种主流大语言模型（如 Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、HuggingFace、Replicate 等），并且全程遵循 OpenAI 的输入输出格式，极大简化多平台接入流程。  当前移植了 LiteLLM 的代理服务器部分。 ## 核心功能 - 统一接口：将用户的 completion、embedding、image_generation 等调用转译到不同提供商的 API； - 一致输出：保证所有文本响应均位于 choices[0].message.content； - 重试与降级：跨供应商配置自动重试、故障回退和路由策略； - 预算与限流：按项目、API Key 或模型灵活设置预算和速率限制； - 代理服务：提供身份验证钩子、日志记录、成本统计与速率控制； - 可视化管理：内置 Web UI，可在线生成与管理代理密钥。  ## 移植说明 - LiteLLM 镜像对应版本为 https://github.com/berriai/litellm/pkgs/container/litellm/418776662?tag=main-v1.70.1-stable - https://litellm.<lzc-name>.heiyu.space/ui 可进入管理页面，默认用户名：admin，默认密码：sk-1234