Xinference-v1.17.1保姆级部署教程5分钟在Ubuntu上搭建你的AI模型推理平台1. 引言为什么选择Xinference如果你正在寻找一个简单、快速、功能强大的开源AI模型推理平台Xinference-v1.17.1绝对值得你花5分钟了解一下。想象一下你只需要一个命令就能在本地或云端启动一个支持上百种开源大模型的服务而且这个服务还提供了统一的API让你可以像调用OpenAI一样调用任何模型——这就是Xinference带来的便利。我最近在Ubuntu服务器上部署了Xinference整个过程比预想的要顺利得多。从安装到启动第一个模型真的只用了不到5分钟。这篇文章就是把我踩过的坑和总结的经验用最直白的方式分享给你让你也能快速拥有自己的AI推理平台。无论你是想本地测试模型效果还是需要为团队搭建一个统一的AI服务接口这个教程都能帮你搞定。我们不讲复杂的概念只讲具体怎么做。2. 环境准备确保你的系统就绪在开始之前我们先花1分钟检查一下你的Ubuntu系统。Xinference-v1.17.1对系统要求并不高但做好准备工作能让后续步骤更顺利。2.1 系统要求检查首先确认你的Ubuntu版本。打开终端输入lsb_release -a你会看到类似这样的输出Distributor ID: Ubuntu Description: Ubuntu 22.04.3 LTS Release: 22.04 Codename: jammyXinference支持Ubuntu 18.04及以上版本但我推荐使用20.04或22.04 LTS兼容性最好。2.2 基础软件安装接下来更新系统并安装必要的工具# 更新软件包列表 sudo apt update # 升级已安装的包 sudo apt upgrade -y # 安装Python和pip如果还没安装 sudo apt install -y python3 python3-pip python3-venv # 安装一些常用工具 sudo apt install -y git curl wget如果你的系统里已经有Python 3.8或更高版本那就可以直接进入下一步了。检查一下Python版本python3 --version2.3 GPU支持可选但推荐如果你有NVIDIA显卡并且希望用GPU来加速模型推理那么需要安装显卡驱动。先检查一下# 检查是否已安装NVIDIA驱动 nvidia-smi如果这个命令显示了显卡信息比如显存大小、驱动版本等那说明驱动已经装好了。如果报错或者没输出可以这样安装# 自动安装合适的驱动 sudo ubuntu-drivers autoinstall # 重启系统 sudo reboot重启后再次运行nvidia-smi确认安装成功。看到显卡信息就说明没问题了。3. 核心步骤安装和启动Xinference好了准备工作完成现在进入正题。安装Xinference其实特别简单就几个命令。3.1 创建Python虚拟环境我强烈建议使用虚拟环境这样不会影响系统里其他的Python项目# 创建一个名为xinference-env的虚拟环境 python3 -m venv xinference-env # 激活虚拟环境 source xinference-env/bin/activate激活后你的命令行提示符前面会出现(xinference-env)表示你现在在这个虚拟环境里操作。3.2 安装Xinference在虚拟环境里用pip安装Xinferencepip install xinference如果你在中国大陆可能会觉得下载速度慢可以换成国内的镜像源pip install xinference -i https://pypi.tuna.tsinghua.edu.cn/simple安装过程大概需要1-2分钟取决于你的网络速度。3.3 验证安装安装完成后验证一下是否成功xinference --version如果看到类似xinference, version 1.17.1的输出恭喜你安装成功了4. 启动服务让你的AI平台跑起来安装好了现在启动服务。Xinference提供了多种启动方式我们先从最简单的开始。4.1 快速启动本地服务在终端里输入这个命令xinference-local --host 0.0.0.0 --port 9997解释一下参数--host 0.0.0.0让服务监听所有网络接口这样你不仅能在本机访问也能从同一网络的其他设备访问--port 9997指定服务端口为9997你可以改成其他没被占用的端口启动后你会看到类似这样的输出INFO: Started server process [12345] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://0.0.0.0:9997 (Press CTRLC to quit)4.2 访问Web管理界面打开你的浏览器输入如果在本机访问http://localhost:9997如果在其他设备访问http://你的服务器IP:9997你会看到一个简洁的Web界面这就是Xinference的管理后台。在这里你可以查看已部署的模型、启动新模型、监控资源使用情况等。4.3 让服务在后台运行刚才的启动方式有个问题关掉终端服务就停了。我们需要让它在后台持续运行。方法一使用nohup简单nohup xinference-local --host 0.0.0.0 --port 9997 xinference.log 21 这个命令会让服务在后台运行并且把日志输出到xinference.log文件。你可以随时查看日志# 查看实时日志 tail -f xinference.log # 查看最后100行日志 tail -n 100 xinference.log方法二使用systemd推荐用于生产环境创建服务配置文件sudo nano /etc/systemd/system/xinference.service把下面的内容复制进去记得把你的用户名换成你实际的用户名[Unit] DescriptionXinference AI Inference Service Afternetwork.target [Service] Typesimple User你的用户名 WorkingDirectory/home/你的用户名 EnvironmentPATH/home/你的用户名/xinference-env/bin ExecStart/home/你的用户名/xinference-env/bin/xinference-local --host 0.0.0.0 --port 9997 Restartalways RestartSec10 [Install] WantedBymulti-user.target保存退出后启用并启动服务# 重新加载systemd配置 sudo systemctl daemon-reload # 设置开机自启 sudo systemctl enable xinference # 立即启动服务 sudo systemctl start xinference # 查看服务状态 sudo systemctl status xinference如果看到active (running)说明服务已经成功在后台运行了。5. 部署第一个模型从零到一的实践服务跑起来了现在我们来部署一个真正的AI模型。Xinference支持很多模型我们先从一个小一点的开始。5.1 查看可用模型在终端里确保还在虚拟环境中输入# 查看所有可用的语言模型 xinference registrations --model-type LLM你会看到一个很长的列表包含了各种开源大模型比如Qwen、Llama、ChatGLM等。每个模型后面都标明了需要多少显存或内存。5.2 部署Qwen2-7B模型对于初次尝试我推荐Qwen2-7B-Instruct这个模型。它大小适中7B参数效果不错而且对中文支持很好。xinference launch --model-name Qwen2-7B-Instruct --model-type LLM第一次运行这个命令时Xinference会自动从网上下载模型文件。下载速度取决于你的网络模型大小约14GB可能需要一些时间。下载完成后模型会自动加载。你会看到类似这样的进度信息Downloading model... 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████