大语言模型代理 litellm proxy
快速开始
1.终端启动
一分钟内启动运行
1 | curl -fsSL https://raw.githubusercontent.com/BerriAI/litellm/main/scripts/quickstart.sh | sh |
1 | irm https://raw.githubusercontent.com/BerriAI/litellm/main/scripts/quickstart.ps1 | iex |
命令执行完成后,打开管理界面。然后您可以添加模型、创建虚拟密钥,以及从您的应用调用网关。
2. docker 启动
- 运行指令
docker compose快速启动 - 登录地址:http://localhost:4000/ui
- 账号:admin
- 密码:环境变量里面的
LITELLM_MASTER_KEY
1 | curl -sSLO https://github.com/BerriAI/litellm/raw/main/docker/docker-compose.quickstart.yml |
配置大模型
添加供应商 http://localhost:4000/ui/models-and-endpoints/?tab=llm-credentials
- 点击
Add New Credential - 选择供应商(Provider),如:
OpenAI-Compatible Completions (legacy /v1/completions) - 供应商请求地址(API Base),如:
https://api.openai.com/v1 - 供应商密钥(OpenAI API Key),如:
sk-***
- 点击
添加大模型 http://localhost:4000/ui/models-and-endpoints/?tab=add
- 供应商选择(Provider)->
OpenAI-Compatible Endpoints (Together AI, etc.) - 大模型名称选择自定义(LiteLLM Model Name(s))->第一个
Custom Model Name (Enter below)->选择模型下拉 下面多了输入框,输入供应商的真实模型名称 - 模型映射
Model Mappings,支持自定义名称如:gpt-code,会自动指向上一步输入的真实模型 - 请求类型
Mode,常用Chat - /chat/completions - 已添加供应商
- 直接选择供应商(Existing Credentials)
- 未添加供应商
- 供应商请求地址(API Base),如:
https://api.openai.com/v1 - 供应商密钥(OpenAI API Key),如:
sk-***
- 供应商请求地址(API Base),如:
- 保存(Add Model)
- 供应商选择(Provider)->
配置访问 KEY http://localhost:4000/ui/api-keys/
- 指定模型
Create New Key-> 全部All Proxy Models - 保存创建
Create Key
- 指定模型
使用
- 请求地址 baseURL ->
http://localhost:9000 - 密钥 key 使用创建的
- 模型名称 Model Mappings
- 请求地址 baseURL ->
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 BARAN的小站🔥🔥🔥!

