快速开始

1.终端启动

一分钟内启动运行

1
curl -fsSL https://raw.githubusercontent.com/BerriAI/litellm/main/scripts/quickstart.sh | sh
1
irm https://raw.githubusercontent.com/BerriAI/litellm/main/scripts/quickstart.ps1 | iex

命令执行完成后,打开管理界面。然后您可以添加模型、创建虚拟密钥,以及从您的应用调用网关。

2. docker 启动

  • 运行指令 docker compose 快速启动
  • 登录地址:http://localhost:4000/ui
  • 账号:admin
  • 密码:环境变量里面的LITELLM_MASTER_KEY
1
2
3
curl -sSLO https://github.com/BerriAI/litellm/raw/main/docker/docker-compose.quickstart.yml
printf 'LITELLM_MASTER_KEY=sk-%s\nLITELLM_SALT_KEY=sk-%s\n' "$(openssl rand -hex 32)" "$(openssl rand -hex 32)" > .env
docker compose -f docker-compose.quickstart.yml up -d

配置大模型

  • 添加供应商 http://localhost:4000/ui/models-and-endpoints/?tab=llm-credentials

    • 点击 Add New Credential
    • 选择供应商(Provider),如:OpenAI-Compatible Completions (legacy /v1/completions)
    • 供应商请求地址(API Base),如:https://api.openai.com/v1
    • 供应商密钥(OpenAI API Key),如:sk-***
  • 添加大模型 http://localhost:4000/ui/models-and-endpoints/?tab=add

    • 供应商选择(Provider)->OpenAI-Compatible Endpoints (Together AI, etc.)
    • 大模型名称选择自定义(LiteLLM Model Name(s))->第一个Custom Model Name (Enter below)->选择模型下拉 下面多了输入框,输入供应商的真实模型名称
    • 模型映射 Model Mappings,支持自定义名称如:gpt-code,会自动指向上一步输入的真实模型
    • 请求类型 Mode,常用 Chat - /chat/completions
    • 已添加供应商
      • 直接选择供应商(Existing Credentials)
    • 未添加供应商
      • 供应商请求地址(API Base),如:https://api.openai.com/v1
      • 供应商密钥(OpenAI API Key),如:sk-***
    • 保存(Add Model)
  • 大模型列表 http://localhost:4000/ui/models-and-endpoints/

  • 配置访问 KEY http://localhost:4000/ui/api-keys/

    • 指定模型 Create New Key -> 全部 All Proxy Models
    • 保存创建 Create Key
  • 使用

    • 请求地址 baseURL -> http://localhost:9000
    • 密钥 key 使用创建的
    • 模型名称 Model Mappings