多模态检索增强生成Multimodal Retrieval-Augmented GenerationMM-RAG已成为提升大型视觉语言模型Large Vision-Language ModelsLVLMs可靠性和事实性的一个有前景的方法。然而由于在前向传播过程中各个组件之间存在不可微分的操作端到端优化难以实现。当前方法主要集中在组件级别的优化这不仅需要大量针对特定组件的训练数据而且还存在局部优化目标与整体优化目标之间的差距。在本文中我们提出了一种新的范式实现了端到端优化称为MM-RewardRAG。该方法将全局奖励reward而不是损失loss从系统输出反向传播到各个组件然后再将这些奖励转化为具体的局部损失函数从而使每个组件能够执行梯度下降最终实现端到端优化。具体而言我们首先引入了两个轻量级的多模态组件查询翻译器Query Translator自适应重排序器Adaptive Reranker它们用于解决多模态知识的异构性问题以及不同问题对知识需求不同的问题。随后我们只对这两个新增组件进行微调并且完全依赖于外部可验证的奖励信号进行训练。实验结果表明我们的方法在多个知识密集型多模态基准测试上取得了最先进State-of-the-Art, SOTA的性能并且训练效率很高仅使用4000 条训练数据即可完成训练。消融实验结果展示了训练过程中各组件性能的变化情况揭示了每个组件如何学习生成有助于提升最终答案质量的输出表明该范式在MM-RAG 研究中具有很大的潜力。大型视觉语言模型Large Vision Language ModelsLVLMsPeng Lu 等2024Jian Bai 等2025通过结合视觉编码器扩展了大语言模型LLMsAndrea Grattafiori 等2024Albert Jiang 等2024的能力。通过引入视觉编码器如 Alec Radford 等2021Maxime Oquab 等2024这些模型能够处理视觉输入并在各种视觉-语言任务上取得卓越表现。然而由于模型参数容量的限制以及预训练后参数化知识逐渐过时Sheng Huang 等2025这些模型在知识密集型任务上的表现仍然较差往往会生成缺乏可靠性和事实性的幻觉hallucination回答。此外在视觉指令微调visual instruction tuning过程中产生的**多模态对齐问题multimodal misalignment**也会进一步破坏模型内部的参数化知识。因此研究社区提出了多模态检索增强生成Multimodal Retrieval-Augmented GenerationMM-RAGUrvashi Khandelwal 等2020Patrick Lewis 等2021Davide Caffagni 等2024作为一种解决方案。该方法通过检索外部知识为模型提供额外的上下文信息从而补充模型内部的参数化知识并减少幻觉问题。然而在RAG 系统的前向传播过程中各个组件之间存在离散的张量操作discrete tensor operations这会破坏计算图使得损失函数无法直接进行反向传播和梯度下降优化如图1所示。因此端到端优化变得不可行。已有一些方法Xiang Yu 等2025Meng Xia 等2024尝试分别优化各个组件。但这种方法存在两个问题每个组件都需要大量专门的训练数据集存在局部目标与整体目标之间的不一致问题也就是说即使某个组件在自身任务上表现更好其输出仍然可能对最终答案产生负面影响。在本文中我们提出了一种新的MM-RAG 范式通过**奖励反向传播reward backpropagation**实现端到端优化称为MM-RewardRAG。如图1所示在答案生成器Answer Generator产生系统输出之后一个可验证的奖励模型Reward Model会通过比较模型预测结果与真实答案ground truth来计算全局奖励global reward。随后该奖励信号会被反向传播到各个组件转换为各组件对应的局部损失函数用于指导各组件的参数优化为了保持系统原有的通用检索能力和指令遵循能力我们的方法只微调新增的轻量级组件。如图2所示为了将奖励信号从答案生成器传递到自适应重排序器Adaptive Reranker我们同时使用传统的直接实例对齐Direct Instance Alignment我们提出的新方法组偏好对齐Group Preference Alignment这种方法可以建模排序结果中的相对关系。为了指导查询翻译器Query Translator系统会将来自自适应重排序器的奖励信号进行组加权处理group-weighted reward并将其反向传播给查询翻译器从而使其能够适应异构的知识库。我们在一系列知识密集型多模态基准数据集上评估了该方法。与以往研究主要集中在仅需要文本知识的基准任务不同我们进一步评估了需要文本与视觉知识共同参与推理的任务。实验结果表明我们的方法在以下数据集上取得了最先进SOTA性能E-VQAInfoseekMultimodalQAWebQAOK-VQAA-OKVQA值得注意的是我们的方法仅使用4000个训练问题进行训练并且不需要为每个组件提供人工标注的训练数据而是完全依赖于外部可验证的奖励信号。我们还对训练过程中各组件的性能变化进行了详细分析。结果表明我们的自适应重排序器在性能上超过了三个使用大量训练数据的专有模型即使它们使用相同的模型架构2 相关工作大型视觉语言模型Large Vision Language Models近年来的大型视觉语言模型LVLMsJian Bai 等2025Lei Wang 等2024通过在视觉编码器上连接多模态对齐模块来扩展大语言模型LLMs从而展现出强大的能力。然而这类模型的**参数化知识parametric knowledge**存在两个主要问题模型容量受限预训练之后知识会逐渐过时此外多模态对齐不足还会进一步削弱语言模型主干中已经嵌入的知识。当模型在面对知识密集型视觉问题时例如 OK-VQA、Infoseek 等这些问题会导致模型生成幻觉hallucination回答Kai Zhou 等2024。检索增强生成Retrieval-Augmented Generation检索增强生成RAG通过从外部知识库中检索相关信息来增强大语言模型回答的事实性和可靠性同时减少幻觉问题。近年来一些研究将 RAG 扩展到了多模态领域。这些方法通常会检索文本文档图像-文本对并将它们作为in-context 示例为模型提供额外的常识知识和视觉知识。例如EchoSightXia Yan Xiang Xie2024Wiki-LLaVADavide Caffagni 等2024这两种方法通过检索补充文本知识来提升 LVLM 在知识密集型视觉任务上的表现。在特定领域任务中RULEMeng Xia 等2024MMed-RAGMeng Xia 等2024通过检索与放射影像相关的医学报告提高医学视觉语言模型的事实性。同时检索内容的范围也在不断扩展到更丰富的视觉输入V-RAGZhenyu Chu 等2025将检索扩展到相似图像MOREYue Cui 等2024利用图像进行常识推理VisRAGXiang Yu 等2025将网页截图作为一种新的文档类型纳入检索RAG 的优化策略在优化策略方面现有研究主要集中在单个组件的优化。例如SURfYifan Sun 等2024RULEMeng Xia 等2024RoRA-VLMZhe Qi 等2024这些方法主要目标是训练答案生成器Answer Generator使其能够有选择地使用检索到的信息避免受到无关或噪声数据的误导另外V-RAGZhenyu Chu 等2025使答案生成器能够处理多个交错的多模态输入而VisRAGXiang Yu 等2025则专注于训练检索器retriever使其更好地适应截图类文档。本文方法的区别与当前主要关注局部组件级优化的研究不同我们提出的MM-RewardRAG旨在对整个 RAG 系统进行端到端优化。这种方法带来了两个优势减少对大量训练数据的需求使局部组件目标与系统整体目标直接对齐具体来说局部目标提高检索结果质量提高信息过滤准确性全局目标生成真实可靠、幻觉更少的最终答案3 方法Methodology3.1 方法概述Overview在本节中我们首先介绍MM-RAG 为什么需要异构知识库然后详细说明为 MM-RAG 系统设计的原生多模态组件。最后我们解释奖励反向传播算法reward backpropagation该算法能够实现 MM-RAG 框架的端到端优化。记号说明Notation我们使用以下符号Q输入问题I输入图像qm由问题 Q 和图像 I 转换得到的查询query其中m ∈ {T, I, L}分别表示T文本知识库I图像知识库LLLM知识库检索到的第 i 个文档表示为dᵢ基于文档 dᵢ 生成的模型输出为Oᵢ每个候选项都会被赋予一个奖励Rⁿᵢ其中 n 表示不同阶段n 1查询翻译阶段Query Translationn 2自适应重排序阶段Adaptive Rerankingn 3答案生成阶段Answer Generation在每个阶段中模型输出都会根据奖励集合 {Rⁿᵢ} 形成一个排序 rⁿ表示奖励模型的偏好顺序。特别地在自适应重排序阶段 (n2)排序 r² 可以通过usefulness level {lᵢ}或奖励 {R²ᵢ}得到。3.2 异构知识库Heterogeneous Knowledge Bases该框架利用三种不同类型的知识库以解决多模态信息的异构性问题。原因是不同知识通常存在于不同模态中。系统使用以下三类知识库1 Text KB文本知识库包含与实体相关的背景信息例如历史背景概念定义时间信息人名等具体细节2 Image KB图像知识库包含主要存在于视觉模态中的知识例如地标建筑建筑物相对大小视觉属性3 LLM-as-a-KBLLM作为知识库该模块用于弥补多模态对齐过程中对参数知识造成的破坏这一思想来自之前研究Luyu Gao 等2022。换句话说LLM 本身也作为一种知识来源参与检索。3.3 Query Translator查询翻译器回答多模态问题所需的信息通常分布在不同模态中并互补存在。但如果直接使用问题 Q 作为检索 query会出现两个问题1 模态不匹配modality mismatch2 语义解耦semantic decoupling从而导致检索性能下降召回率不完整因此我们设计了模态感知查询翻译器modality-aware query translator。它的作用是为不同知识库生成适配的查询语句。换句话说它是一个软连接器soft connector将多模态问题 → 对应知识库连接起来。查询生成过程可以表示为P({qT,qI,qL}|I,Q)∏ P(qj | I,Q,qj)其中生成的查询为qT → 用于 Text KBqI → 用于 Image KBqL → 用于 LLM KB随后分别进行检索得到候选文档集合文本候选dT1, dT2, …, dTk图像候选dI1, dI2, …, dIkLLM候选dL1, dL2, …, dLk3.4 Adaptive Reranker自适应重排序器该组件用于解决不同问题对知识需求不同的问题。传统方法通常使用固定 Top-K reranking。但这种方法存在两个问题情况1问题只需要少量知识Top-K会引入大量噪声信息情况2问题需要大量知识Top-K会截断重要信息因此本文提出Adaptive Reranker它会动态决定需要多少知识。具体做法1 对每个候选文档进行评估2 为其分配usefulness level有用性等级表示该知识片段对回答问题的帮助程度。随后无用文档 → 丢弃有用文档 → 保留剩余文档会连同其 usefulness level 一起输入Answer Generator。这样 generator 就能知道哪些知识很重要哪些知识可能是噪声例如 neutral从而有选择地使用信息。3.5 优化过程Optimization Process训练监督信号完全来自外部奖励模型。奖励模型通过比较模型预测答案与真实答案来计算奖励。整个 MM-RAG 系统的优化目标是最大化全局奖励。核心思想是将全局奖励逐步向后传播到每个组件。对于每个神经网络组件1 将 reward 转换为局部 loss2 使用梯度下降优化参数冻结参数策略为了保持系统的通用检索能力指令遵循能力论文冻结以下模块参数RetrieverAnswer Generator只训练新增组件Query TranslatorAdaptive RerankerGenerator → Reranker流程如下1 检索得到文档 dᵢ2 reranker 给每个文档打分 lᵢ3 形成排序 r²然后每个文档与问题 Q 组合输入 generator生成答案Oᵢ奖励模型计算R³ᵢ形成排序r³理想情况r² r³但实际中由于reranker标签噪声知识偏好不一致二者会产生偏差。因此论文将最终奖励R³ᵢ反向传播给 reranker得到R²ᵢ并转换为 reranker 的训练 loss。Stage 1知识蒸馏Generator 判断加入文档 dᵢ 后答案是否更好。生成一个CoT 推理序列并用于训练 reranker。损失函数LdistillStage 2Group Preference Tuning组偏好优化论文提出新的Group Preference Alignment。步骤1 从候选文档采样两组2 得到两个排序ra₂rb₂3 与参考排序 r³ 比较更接近 r³ 的组被认为更优。定义组评分U(G) ∑ l(d)损失函数LGroup − log σ(U(GW) − U(GL))其中GW winner groupGL loser group这种方法不仅考虑单个文档质量还考虑多个文档之间的相对关系。特别适合multi-hop reasoningReranker → Translator当 reranker 已经与全局奖励对齐后系统继续将信号反向传播给Query Translator。Query Translator 生成n组 queryGq {qT, qI, qL}每组 query 检索得到Dj (dj1, dj2, …)一个好的 translator 应该检索到相关文档且高质量文档排在前面为此论文定义位置敏感奖励函数R(Dj)其中reranker评分 l(d)排名位置 k共同决定 reward。该 reward 用于训练 Query Translator可采用策略优化算法PPOGRPODPOCurriculum Learning训练初期β ≈ 0目标提高 recall训练后期β 逐渐增大目标让高质量文档排在前面β 变化公式βt βmax (1 − e^(−λt/T))这样 Query Translator 能逐渐学会不仅检索正确知识还能正确排序知识。4 实验Experiments详细的实验设置见附录 B。4.1 主要实验结果Main Results在Infoseek和E-VQA数据集上的实验结果如表1所示。MM-RewardRAG在性能上超过所有现有方法包括使用专有搜索引擎和模型的方法使用开源 LLM 和 LVLM的方法并取得了新的SOTAState-of-the-Art结果。MM-RewardRAG 与其他方法的不同之处主要体现在三个方面1 训练数据极少我们仅使用4000 条训练样本进行训练从而显著降低了计算资源需求。2 只微调两个组件系统只微调Query TranslatorAdaptive Reranker这样做的目的是耦合系统组件同时保留答案生成器的通用视觉指令能力。而许多现有方法为了获得领域性能往往需要微调整个模型导致通用能力下降。3 使用可验证奖励作为监督信号监督信号只来自系统输出的可验证 reward该 reward 会通过reward backpropagation分配给各个组件。这样可以保证局部组件优化目标 与 全局系统目标保持一致最终提升系统准确性系统事实性MultimodalQA 和 WebQA 实验在MultimodalQA和WebQA数据集上的实验结果分别见表2和表3。值得注意的是过去的 MM-RAG 方法主要关注只需要文本知识的场景。但这些数据集需要文本 视觉信息联合推理此外当前针对这两个数据集的方法通常训练任务专用模型而不是通用解决方案原因是跨模态信息检索和融合非常困难。即便如此MM-RewardRAG 仍然超过所有专门微调模型。原因主要是Query Translator它可以将原始问题转换为多个模态查询文本查询图像查询LLM查询从而更有效地利用不同知识库。Adaptive Reranker它可以减少外部知识噪声从而帮助 Answer Generator更好地利用跨模态信息进行推理并生成更优答案。OK-VQA 和 A-OKVQA 实验表4展示了在OK-VQAA-OKVQA上的实验结果。实验观察发现当前 LVLM 已经拥有足够的参数知识来回答这些较旧的问题。因此如果简单加入外部知识反而可能降低模型性能因为检索到的信息可能包含误导性内容。而我们的Adaptive Reranker可以过滤噪声信息只保留有帮助的知识从而实现上下文知识 参数知识 的创新融合并进一步提升整体性能。Oracle 实验在Oracle 设置下的结果如表5所示。结果表明MM-RewardRAG 仍然表现出明显的性能优势。这说明该方法能够持续受益于未来更先进的多模态检索技术。此外系统还具有良好的模型迁移能力详见附录 C。这意味着新模型可以很容易集成到该框架中。M2KR 基准测试在M2KR benchmark上使用PreFLMR进行迁移实验结果见表6。MM-RewardRAG持续超过所有现有方法进一步证明了模型鲁棒性泛化能力Reranker 对比实验实验还比较了多种 reranker 方法例如DSE-Reranker该模型通过分别生成 query embedding生成 document embedding然后计算相关性进行排序。与这些方法不同MM-RewardRAG 的 reranker根据 usefulness 动态选择候选文档而其他方法通常排序后直接使用固定 Top-K。此外我们的模型支持任意模态之间的匹配any-to-any modality例如text ↔ imageimage ↔ texttext ↔ textimage ↔ image而许多模型只能支持固定的text→imageimage→text匹配方式。Reranker性能结果表7结果显示我们的Adaptive Reranker在四个 benchmark 上所有指标均优于其他模型。并且训练资源更少。推理效率在推理阶段我们的模型在单 GPU上达到21.5k tokens / second相比之下其他模型即使使用更高 GPU 功率由于使用非自回归结构处理速度反而更慢。例如其他模型功耗Jina453WDes315WMono426W而我们模型仅271W