大模型用得越多越容易陷入一种混乱状态。这个项目用 OpenAI那个服务接 Dashscope(Qwen)测试环境还跑着本地 vLLM 或 Ollama电脑里配置着一堆 API Key刚开始问题不大大家还能靠“记得住”来维持。但只要项目一多、人数一多麻烦立刻显现出来费用开始失控、模型切换成本极高、权限越来越乱、出了问题也很难排查。于是越来越多团队开始引入一个概念大模型网关LLM Gateway。在目前的开源方案里LiteLLM是非常实用、也非常容易真正落地的一种。我们按下面这条路线一步步把它跑起来为什么要用 → Docker Compose 部署 → 模型与 Key 管理 → 权限与预算 → 实际调用 → 真实使用场景一、LiteLLM 是什么它解决的不是“能不能用”而是“怎么管”先说清楚一件事LiteLLM 本身不是模型。它更像是一个统一的大模型代理层或者你也可以理解为所有大模型的统一入口 管理中枢对外它暴露的是OpenAI 兼容 API对内它可以接入各种不同来源的大模型包括OpenAI / Azure OpenAIAnthropic / Gemini / DashscopeHuggingFace本地 vLLM、Ollama甚至多家模型同时存在最终的效果是应用侧只需要认一个地址、一个 Virtual Key。至于后面到底用的是哪家模型、怎么调度、怎么限额全部交给 LiteLLM 处理。二、Docker Compose 部署生产环境强烈推荐如果只是本地玩一玩直接起一个 Docker 容器也可以。但只要你是长期使用或多人使用Docker Compose 是最稳妥的方式。它有几个明显好处部署结构清晰配置可复现后期升级、迁移成本低1️⃣ 准备目录结构litellm/ ├── docker-compose.yml └── .env保持简洁后面所有东西都围绕这两个文件来。2️⃣ 编写docker-compose.ymlservices:litellm:build:context:.args:target:runtimeimage:docker.litellm.ai/berriai/litellm:main-stable########################################## Uncomment these lines to start proxy with a config.yaml file ## volumes:# - ./config.yaml:/app/config.yaml# command:# - --config/app/config.yaml##############################################ports:-4000:4000environment:DATABASE_URL:postgresql://llmproxy:dbpassword9090db:5432/litellmSTORE_MODEL_IN_DB:Trueenv_file:-.envdepends_on:-dbhealthcheck:test:-CMD-SHELL-python3-c import urllib.request; urllib.request.urlopen(http://localhost:4000/health/liveliness)interval:30stimeout:10sretries:3start_period:40sdb:image:postgres:16restart:alwayscontainer_name:litellm_dbenvironment:POSTGRES_DB:litellmPOSTGRES_USER:llmproxyPOSTGRES_PASSWORD:dbpassword9090ports:-5432:5432volumes:-/home/data/litellm/postgres/data:/var/lib/postgresql/datahealthcheck:test:[CMD-SHELL,pg_isready -d litellm -U llmproxy]interval:1stimeout:5sretries:10提醒一句记得把 db 的 volumes 路径改成您自己机器上的真实路径。3️⃣ 环境变量.envLITELLM_MASTER_KEYsk-1234 STORE_MODEL_IN_DBTrue这里的LITELLM_MASTER_KEY就是后面登录后台用的密码。4️⃣ 启动服务dockercompose-plitellm up-d5️⃣ 访问管理界面浏览器打开http://localhost:4000用户名admin密码.env里配置的LITELLM_MASTER_KEY三、如何管理模型从 Virtual Key 开始LiteLLM 的核心设计之一就是用 Virtual Key 来统一管理、隔离使用者和模型资源。1️⃣ 添加模型以 Ollama 为例在Models Endpoints页面中选择Add Model。2️⃣ 创建 Virtual KeyKey 的拥有者可以是你自己、某个服务账号或者具体成员可以绑定一个或多个模型可以设置预算、速率限制注意生成的 Key 只显示一次一定要保存好。3️⃣ 在线验证是否可用粘贴刚创建的 Virtual Key选择允许使用的模型直接测试请求四、权限管理多人协作非常重要当开始多人使用时这一部分非常关键。创建团队Team用于统一管理成员和资源。邀请内部用户Internal User访问组Access Groups通过访问组来控制谁能用哪些模型、哪些 Key。预算管理Budgets如果你接的是收费模型这一步非常有用。五、可观测性终于知道钱花哪了请求消耗统计请求日志六、应用如何调用几乎不用改代码Python 示例fromlangchain_openaiimportChatOpenAI llmChatOpenAI(nameollama,modelqwen3:8b,base_urlhttp://192.168.31.242:4000,api_keysk-Rj-rnKC9lgaohyI7bxKVkg)responsellm.invoke(你是谁)print(response)核心只有三点地址指向 LiteLLMKey 使用你创建的 Virtual Key模型名来自你在后台定义的模型七、真实使用场景场景一公司级 AI 中台前端、后端、脚本工具全部只接一个 Gateway模型升级对业务透明场景二多项目成本可控每个项目一个 Key超额直接拒绝成本一眼就能看清场景三模型策略随时调整今天 GPT-4明天 Gemini后天本地模型只改配置不动业务代码。写在最后很多人刚接触大模型时最关心的是效果真正用久了才发现最难的是管理、成本和稳定性。LiteLLM 并不会让模型变聪明但它能让你用得更稳管得更清楚换得更从容如果你已经不满足“能跑就行”那这个网关确实值得你认真搭一套。