文脉定序部署教程Docker Compose编排BGE-m3服务前端水墨UI1. 系统概述与环境准备文脉定序是一款基于BGE语义模型的智能重排序平台专门解决传统搜索引擎搜得到但排不准的痛点。通过深度学习技术系统能够理解查询与文档之间的深层语义关联为检索结果提供精准的重新排序。1.1 系统要求在开始部署前请确保您的系统满足以下要求操作系统Linux (Ubuntu 18.04)、Windows 10 或 macOS 10.15Docker版本 20.10.0 或更高Docker Compose版本 2.0.0 或更高GPU可选但推荐NVIDIA GPU CUDA 11.7内存至少 8GB RAM推荐 16GB存储空间至少 10GB 可用空间1.2 安装必要的工具如果您的系统尚未安装Docker和Docker Compose请先执行以下命令# 安装DockerUbuntu示例 sudo apt update sudo apt install docker.io # 安装Docker Compose sudo curl -L https://github.com/docker/compose/releases/download/v2.20.0/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose sudo chmod x /usr/local/bin/docker-compose # 验证安装 docker --version docker-compose --version2. 快速部署步骤2.1 创建项目目录结构首先创建项目目录并组织必要的文件# 创建项目目录 mkdir wenmai-dingxu cd wenmai-dingxu # 创建子目录 mkdir -p docker-config frontend models2.2 编写Docker Compose配置文件创建docker-compose.yml文件这是整个系统的核心编排配置version: 3.8 services: # BGE重排序模型服务 bge-reranker: image: pytorch/pytorch:2.0.1-cuda11.7-cudnn8-runtime container_name: bge-reranker-service ports: - 8000:8000 volumes: - ./models:/app/models - ./docker-config/requirements.txt:/app/requirements.txt working_dir: /app command: sh -c pip install -r requirements.txt python -c from transformers import AutoModelForSequenceClassification, AutoTokenizer; model AutoModelForSequenceClassification.from_pretrained(\BAAI/bge-reranker-v2-m3\); tokenizer AutoTokenizer.from_pretrained(\BAAI/bge-reranker-v2-m3\); model.save_pretrained(\/app/models/bge-reranker-v2-m3\); tokenizer.save_pretrained(\/app/models/bge-reranker-v2-m3\) python -m uvicorn api:app --host 0.0.0.0 --port 8000 environment: - MODEL_PATH/app/models/bge-reranker-v2-m3 deploy: resources: reservations: devices: - driver: nvidia count: 1 capabilities: [gpu] restart: unless-stopped # 前端水墨UI服务 frontend: image: nginx:alpine container_name: wenmai-frontend ports: - 80:80 volumes: - ./frontend:/usr/share/nginx/html - ./docker-config/nginx.conf:/etc/nginx/conf.d/default.conf depends_on: - bge-reranker restart: unless-stopped2.3 创建模型API服务在项目根目录创建api.py文件这是BGE模型的核心接口from fastapi import FastAPI, HTTPException from pydantic import BaseModel from transformers import AutoModelForSequenceClassification, AutoTokenizer import torch import numpy as np import os app FastAPI(title文脉定序API, version1.0.0) class RerankRequest(BaseModel): query: str documents: list[str] top_k: int 5 class RerankResponse(BaseModel): scores: list[float] ranked_documents: list[str] ranked_indices: list[int] # 加载模型 model_path os.getenv(MODEL_PATH, /app/models/bge-reranker-v2-m3) try: tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForSequenceClassification.from_pretrained(model_path) model.eval() print(模型加载成功) except Exception as e: print(f模型加载失败: {e}) raise e app.post(/rerank, response_modelRerankResponse) async def rerank_documents(request: RerankRequest): try: # 准备输入数据 pairs [[request.query, doc] for doc in request.documents] # 令牌化 inputs tokenizer(pairs, paddingTrue, truncationTrue, return_tensorspt, max_length512) # 推理 with torch.no_grad(): scores model(**inputs, return_dictTrue).logits.view(-1).float() scores scores.numpy().tolist() # 排序并选择top_k sorted_indices np.argsort(scores)[::-1] top_indices sorted_indices[:request.top_k] return RerankResponse( scores[scores[i] for i in top_indices], ranked_documents[request.documents[i] for i in top_indices], ranked_indicestop_indices.tolist() ) except Exception as e: raise HTTPException(status_code500, detailf重排序失败: {str(e)}) app.get(/health) async def health_check(): return {status: healthy, model_loaded: True} if __name__ __main__: import uvicorn uvicorn.run(app, host0.0.0.0, port8000)2.4 配置Nginx和前端文件创建Nginx配置文件docker-config/nginx.confserver { listen 80; server_name localhost; root /usr/share/nginx/html; index index.html; # 前端静态文件服务 location / { try_files $uri $uri/ /index.html; } # API代理到后端服务 location /api/ { proxy_pass http://bge-reranker:8000/; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } # 静态资源缓存 location ~* \.(js|css|png|jpg|jpeg|gif|ico|svg)$ { expires 1y; add_header Cache-Control public, immutable; } }创建前端页面frontend/index.html!DOCTYPE html html langzh-CN head meta charsetUTF-8 meta nameviewport contentwidthdevice-width, initial-scale1.0 title文脉定序 - 智能语义重排序系统/title style /* 水墨风格CSS样式 */ body { font-family: SimSun, STKaiti, serif; background: linear-gradient(to bottom, #f8f4e9, #e8e1d1); color: #333; margin: 0; padding: 20px; } .container { max-width: 1000px; margin: 0 auto; background: rgba(255, 255, 255, 0.95); padding: 30px; border-radius: 8px; box-shadow: 0 4px 20px rgba(0, 0, 0, 0.1); border: 1px solid #d4c9a9; } .seal { color: #c33; font-weight: bold; border: 2px solid #c33; padding: 2px 8px; border-radius: 50%; display: inline-block; margin: 0 5px; } /* 更多样式... */ /style /head body div classcontainer h1文脉定序 · 智能语义重排序/h1 div idapp !-- 前端交互界面 -- /div /div script srcapp.js/script /body /html2.5 创建依赖文件创建docker-config/requirements.txt文件fastapi0.104.1 uvicorn0.24.0 transformers4.35.0 torch2.0.1 numpy1.24.0 pydantic2.4.0 accelerate0.24.03. 启动与使用指南3.1 一键启动服务完成所有文件配置后使用以下命令启动整个系统# 在项目根目录执行 docker-compose up -d # 查看服务状态 docker-compose ps # 查看日志 docker-compose logs -f服务启动后您可以通过以下地址访问前端界面http://localhostAPI文档http://localhost:8000/docs健康检查http://localhost:8000/health3.2 使用示例系统启动后您可以通过API进行重排序操作import requests import json # API请求示例 api_url http://localhost:8000/rerank payload { query: 人工智能的发展历程, documents: [ 人工智能从1956年达特茅斯会议开始发展..., 机器学习是人工智能的重要分支..., 深度学习推动了人工智能的新发展..., 自然语言处理是AI的重要应用领域... ], top_k: 3 } response requests.post(api_url, jsonpayload) results response.json() print(重排序结果) for i, (doc, score) in enumerate(zip(results[ranked_documents], results[scores])): print(f{i1}. 得分: {score:.4f} - {doc[:100]}...)3.3 前端界面使用打开浏览器访问 http://localhost您将看到水墨风格的前端界面输入查询在顶部输入框输入您要查询的问题上传文档粘贴或上传需要重排序的文档内容开始重排序点击甄选按钮开始处理查看结果系统会按相关性从高到低显示结果并用印章标识匹配度4. 常见问题解决4.1 端口冲突问题如果出现端口冲突可以修改docker-compose.yml中的端口映射ports: - 新的端口号:8000 # 修改前面的端口号4.2 模型下载缓慢如果模型下载速度慢可以使用国内镜像源# 在api.py中修改模型加载方式 model AutoModelForSequenceClassification.from_pretrained( BAAI/bge-reranker-v2-m3, mirrorhttps://mirrors.tuna.tsinghua.edu.cn/hugging-face-models )4.3 GPU内存不足如果遇到GPU内存不足可以启用FP16精度model AutoModelForSequenceClassification.from_pretrained( model_path, torch_dtypetorch.float16 # 使用半精度 )4.4 服务监控可以使用以下命令监控服务状态# 查看容器资源使用情况 docker stats # 查看服务日志 docker-compose logs bge-reranker # 重启服务 docker-compose restart5. 总结通过本教程您已经成功部署了文脉定序智能重排序系统。这个系统结合了BGE-m3强大的语义理解能力和优雅的水墨风格界面为您的信息检索需求提供了精准的重新排序功能。系统的主要特点包括快速部署使用Docker Compose一键部署无需复杂的环境配置高性能支持GPU加速处理速度快多语言支持基于BGE-m3模型支持中英文等多种语言美观界面独特的水墨风格设计提供直观的视觉反馈易于集成提供标准的RESTful API方便与其他系统集成您现在可以开始使用这个系统来提升您的搜索和检索应用的准确性让重要的信息更容易被找到。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。