lychee-rerank-mm保姆级入门3步搞定图文内容相关性打分你是不是经常遇到这样的烦恼在搜索引擎里输入“猫咪玩球”结果出来的图片有的是狗有的是玩具真正贴切的没几张。或者在公司的知识库里找一份“2024年Q3销售报告”搜出来的文档五花八门得自己一个个点开看哪个才是对的。这就是典型的“找得到但排不准”问题。传统的检索系统能帮你找到一堆可能相关的结果但哪个最相关、最有用它就不管了。今天要介绍的lychee-rerank-mm就是专门解决这个痛点的“智能排序官”。它不负责大海捞针只负责在你捞上来的“鱼”里帮你把最大、最肥的那条挑出来并且它看得懂文字也看得懂图片。别被“多模态重排序模型”这个名字吓到其实用起来超级简单。这篇文章我就带你用最直白的方式3步上手让它立刻为你工作。1. 第一步启动服务比打开一个App还简单首先确保你已经获取并运行了lychee-rerank-mm镜像。这个过程通常是一键完成的。启动服务只需要一条命令打开你的终端命令行窗口输入lychee load然后喝口水等待大约10到30秒。你会看到终端里滚动一些信息最后出现类似Running on local URL: http://0.0.0.0:7860的提示。看到这个就说明服务已经成功在后台跑起来了。这里有个小提示第一次运行可能会稍慢一点因为它需要把模型从硬盘加载到内存里这是正常现象。之后再用速度就会快很多。2. 第二步打开操作界面一个清爽的网页服务启动后它就在你的电脑本地localhost建立了一个网页服务。你不需要写任何代码去调用它。打开你常用的浏览器Chrome Firefox Edge都可以在地址栏输入http://localhost:7860按下回车一个干净、直观的Web操作界面就会出现在你面前。这个界面就是你和lychee-rerank-mm对话的窗口。整个界面主要分为三大块Query查询框在这里输入你的问题或搜索词。Document文档框在这里放入你想要评估的候选内容文字或图片。功能按钮比如“开始评分”、“批量重排序”等。看到这个界面最复杂的部分已经结束了。3. 第三步开始使用单点测试和批量排序界面有了我们来实际用一下。lychee-rerank-mm最核心的两个功能单文档评分和批量重排序我们分别来试试。3.1 功能一单文档评分判断“这个答案对吗”这个功能用来快速判断一段给定的内容文档是否与你的问题查询高度相关。就像老师快速判断学生的答案是否切题。操作步骤在Query框里输入你的问题。例如北京是中国的首都吗在Document框里输入你要评估的文本。例如是的北京是中华人民共和国的首都。点击蓝色的开始评分按钮。结果怎么看几乎瞬间你会看到评分结果。它会返回一个0到1之间的分数。分数 0.7通常意味着高度相关这个答案很可能直接解决了你的问题。分数在0.4到0.7之间中等相关这个答案可能部分相关或者提供了背景信息。分数 0.4低度相关这个答案可能文不对题可以忽略。在上面的例子里你大概率会得到一个接近0.95的高分因为文档完美地回答了查询。不只是文字更厉害的是Document框里不仅可以放文字还能上传图片比如Query:上传一张猫的照片Document: 你上传一张猫咪的图片。 模型会分析图片内容并判断这张图片与“猫的照片”这个查询的匹配程度。同样你也可以进行“图文混合”评估比如Document里既有文字描述又配了图。3.2 功能二批量重排序给一堆结果“排座次”这是lychee-rerank-mm的看家本领。当你的检索系统、推荐系统一次性返回了10个、20个可能的结果时用它来给这些结果按相关性从高到低排个序。操作步骤在Query框里输入你的问题。例如什么是人工智能在Documents框里注意是复数输入所有候选文档每个文档之间用三个减号---分隔。人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 --- 今天天气真不错适合去公园散步。 --- 机器学习是人工智能的一个分支它使计算机能够在没有明确编程的情况下进行学习。 --- 苹果是一种常见的水果富含维生素。点击批量重排序按钮。结果怎么看系统会重新整理你的输入框在最相关的文档前面标上1. 第二相关的标上2. 以此类推。同时每个文档后面会显示其得分。对于上面的例子结果很可能会是人工智能是研究、开发...得分最高机器学习是人工智能的一个分支...得分次高今天天气真不错...和苹果是一种常见的水果...得分很低顺序可能随机这样你一眼就能看到哪些内容是真正有用的无需再人工筛选。3.3 进阶技巧让它更懂你自定义指令lychee-rerank-mm内部有一个默认的“任务指令”告诉模型它要做什么。默认指令是Given a query, retrieve relevant documents.给定一个查询检索相关文档。但你可以根据不同的使用场景微调这个指令让模型的表现更精准。在Web界面上找到“Instruction”输入框修改它如果你在做搜索引擎可以改为Given a web search query, retrieve relevant passages.如果你在做问答系统可以改为Judge whether the document answers the question.如果你在做客服可以改为Given a user issue, retrieve relevant solutions.这个小改动有时能让模型的排序结果更贴合你的业务逻辑。4. 总结看到这里你已经掌握了lychee-rerank-mm最核心的用法。我们来快速回顾一下启动一行命令lychee load等它跑起来。访问浏览器打开http://localhost:7860。使用单点测试在Query和Document里分别输入内容和问题点“开始评分”看分数。批量排序在Query输入问题在Documents用---分隔多个候选内容点“批量重排序”看自动排序结果。玩转多模态Document里可以放纯文字、纯图片也可以图文混排。优化效果根据你的场景搜索、问答、客服等尝试修改Instruction指令。这个工具的本质是为你的检索系统加装了一个“智能大脑”让它不仅能找到更能找准。无论是优化站内搜索、提升客服机器人答案质量还是管理混杂着图片和文本的知识库lychee-rerank-mm都能成为一个即插即用的得力助手。现在就打开你的浏览器输入http://localhost:7860开始你的第一次智能排序吧获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。