读论文还要看图RAG 系统终于有了专门测图文检索的硬核基准——IRPAPERS 来了来自 Weaviate 团队的这篇论文系统回答了一个困扰工程师已久的问题检索科学论文时直接用图像好还是先OCR成文字好答案出乎意料地微妙。论文题目IRPAPERS: A VISUAL DOCUMENT BENCHMARK FOR SCIENTIFIC RETRIEVAL AND QUESTION ANSWERING论文链接https://arxiv.org/pdf/2602.17687代码链接https://github.com/weaviate/IRPAPERS数据集链接https://huggingface.co/datasets/weaviate/IRPAPERS研究背景现在每天光arXiv就新增约300篇CS论文NeurIPS一届就发5000多篇科研人要在海量文献里找到自己需要的那篇靠人工早就跟不上了。AI辅助文献检索因此变得越来越重要。传统的做法是把PDF通过OCR转成文字然后做文本检索和问答。但随着多模态大模型的崛起出现了一条新路子直接把PDF每一页当作图片处理跳过OCR这个中间环节用图像embedding来做检索。这两条路到底哪个更好在科学文献这种高度专业化的场景下有没有系统性的评测这正是这篇论文想解决的问题。作者来自向量数据库公司Weaviate他们发现现有的视觉文档检索基准比如ViDoRe更偏向跨领域的企业文档而专门针对科学论文、且同时对比图像和文本两种表示方式的基准几乎是空白的。更关键的是科学论文有个独特的难点同一个领域的论文共享大量术语、方法和实验设置区分它们不能靠简单的主题匹配必须抓住细粒度的方法论差异。这让科学文献检索成为了一个天然的硬核测试场。基于此他们构建了IRPAPERS这个新基准核心贡献可以概括为这几点发布了一个包含166篇IR领域论文、3230个页面、每页同时提供图像和OCR文本的数据集并配套180道精心设计的大海捞针型问题系统对比了图像检索与文本检索的开源模型表现并引入多模态混合检索方案评测了MUVERA这种多向量压缩技术的效率-性能权衡还深入分析了哪些类型的科学内容是图像独有优势、哪些是文本独有优势这对实际系统设计有很强的指导意义。相关工作这个领域已经有不少相关基准但各有局限IRPAPERS正是为了填补它们的空白而来的。视觉文档基准方面最具代表性的是ViDoRe v3这是目前企业级视觉文档检索的主流评测标准覆盖金融、制药、HR、能源等10个工业领域总计26000页内容3099道人工标注的查询。它用NDCG10来衡量排名质量因为每道查询平均对应5.1个相关文档。但ViDoRe是跨领域的语义上比较异质不像科学文献那样同一领域的文章高度相似、需要精细区分。FinanceBench是金融文档问答基准有10231道题但它完全把文档当文本处理从不涉及图像表示因此无法回答图像表示是否带来额外信息这个问题。DocVQA是视觉问答的经典数据集50000道题、12000张文档图像但它是给你文档、回答问题的模式不涉及从大规模语料库中检索——这是一个根本性的差别。SlideVQA和InfographicVQA分别针对PPT和信息图同样是理解任务而非检索任务。科学文献挖掘方面LitSearch通过把引用上下文改写成独立查询来构建基准评测的是文档级检索只用标题和摘要没有深入到页面级。CiteME是一个引用归因基准给一段文字让模型在2.18亿篇文章里找出被引用的那篇结果显示人类能达到69.7%准确率而frontier模型没有工具的情况下只有4.2%到18.5%差距巨大。PaperSearchQA则是专门为强化学习训练搜索智能体设计的在1600万篇生物医学摘要上做单跳事实型问答。这些工作各有侧重但都没有系统回答图像vs文本这个在实际系统设计中最核心的表示选择问题IRPAPERS在这个维度上做出了独特贡献。核心方法数据集构建语义密度极高的硬核语料IRPAPERS的166篇论文来源于一篇LLM信息检索综述的参考文献列表这个设计非常聪明——综述引用的文章在主题上高度相关都在讨论类似的检索方法和实验设置这使得检索系统不能靠表面的主题差异来区分必须识别细粒度的方法论差别。比如一道问题问的是HyDE在英文和非英文检索任务中分别用了什么模型检索系统就必须从多篇都提到HyDE的文章里找到唯一正确的那一页难度相当高。每页论文都保存了两种表示base64编码的图像平均1.3MB/页总计4.2GB和GPT-4.1转录的OCR文本平均4.5KB/页约290倍存储节省。图像预处理在M1 Pro上每页只需130ms而OCR转录每页平均需要25秒整个语料库要花约4小时成本约54美元。这个现实差异本身就很有工程参考价值。180道问题由Claude Sonnet 4.5生成遵循大海捞针的设计哲学每道题对应语料库中唯一的一个页面问题要足够具体让系统不得不找到那一页才能回答。问题构造时特别要求自包含、不出现这篇论文这类表述就好像你在向一个庞大的文献库提问不知道答案在哪篇文章里。文本检索BM25 稠密向量的混合方案文本检索这边用了两种经典方法的结合。BM25是稀疏检索的代表基于词频和逆文档频率打分擅长精确的词汇匹配但捕捉不到语义相似性。Arctic 2.0是稠密向量检索把查询和文档编码成1024维向量用最大内积搜索MIPS排名能捕捉语义相关性但可能丢失精确词汇信息。两者结合的混合检索用相对分数融合RSF策略将各检索器的分数归一化到[0,1]后加权求和兼顾了词汇精度和语义理解。图像检索延迟交互多向量模型图像检索这边的核心是**延迟交互Late Interaction**架构代表模型是ColModernVBERT。这类模型不是把整页图像压成一个向量而是保留多个patch级别的向量用MaxSim聚合来打分score(q,d)∑i∈qmaxj∈dqi⋅dj\text{score}(q, d) \sum_{i \in q} \max_{j \in d} \mathbf{q}_i \cdot \mathbf{d}_jscore(q,d)i∈q∑j∈dmaxqi⋅dj这个公式的直觉很简单对查询的每个token找文档中与它最相似的那个位置然后把所有token的最高相似度加起来。这样能实现细粒度的局部对齐特别适合图文混排的科学论文页面。ColModernVBERT只有250M参数ModernBERT 150M SigLIP-2 100M却在ViDoRe基准上达到了与2.9B参数ColPali几乎相同的性能81.2 vs 81.6 nDCG5这个参数效率让它成为本文的主要实验对象。ColPali和ColQwen2也作为对比对象被测试。MUVERA用50倍存储压缩换取可控的性能损失延迟交互模型有个工程上的大问题每页论文大约产生1000个128维向量3230页就需要存储3230×1000×128×4 bytes1.65GB3230 \times 1000 \times 128 \times 4 \text{ bytes} 1.65\text{GB}3230×1000×128×4bytes1.65GB而且MaxSim计算开销也不小。MUVERA用**固定维度编码FDE**来解决这个问题核心思路是把变长的多向量集合压缩成一个固定长度的单向量。具体做法是用SimHash局部敏感哈希把向量空间分桶SimHash随机生成ksimk_{sim}ksim个超平面每个向量根据落在每个超平面的哪一侧得到一个位串从而决定它所在的桶。比如ksim4k_{sim}4ksim4产生4位串共24162^4162416个桶。在同一个桶里文档向量取平均形成centroid查询向量则求和因为MaxSim中每个查询token独立贡献分数不能平均掉。每个桶的子向量再通过随机投影降维到dprojd_{proj}dproj维。重复这个过程多次后拼接最终每页的FDE维度为FDE dim2ksim×dproj×repetitions\text{FDE dim} 2^{k_{sim}} \times d_{proj} \times \text{repetitions}FDE dim2ksim×dproj×repetitions用论文的参数ksim4,dproj16,repetitions10k_{sim}4, d_{proj}16, \text{repetitions}10ksim4,dproj16,repetitions10时每页压缩成一个2560维向量整个语料库只需33MB实现了50倍的存储压缩。检索时先用FDE做HNSW近似搜索找到top-ef候选再对这些候选做精确MaxSim重排用ef这个超参数控制精度和效率的权衡。多模态混合检索让图文互补把文本混合检索和图像检索的分数融合起来用参数α∈[0,1]\alpha \in [0,1]α∈[0,1]控制比例scorefinal(1−α)⋅scoretext_hybridα⋅scoreimage\text{score}_{\text{final}} (1-\alpha) \cdot \text{score}_{\text{text\_hybrid}} \alpha \cdot \text{score}_{\text{image}}scorefinal(1−α)⋅scoretext_hybridα⋅scoreimage当α0.5\alpha0.5α0.5时Arctic 2.0、BM25、ColModernVBERT三路信号各自的有效权重分别是0.25、0.25、0.5。论文对比了相对分数融合RSF和倒数排名融合RRFscore(d)1/(krank(d))\text{score}(d) 1/(k\text{rank}(d))score(d)1/(krank(d))两种策略整体上RSF表现更好。RAG问答评估问答系统用DSPy框架实现TextRAG用混合文本检索GPT-4.1ImageRAG用ColModernVBERT图像检索GPT-4.1直接把图片传给模型。评分用LLM-as-Judge协议每道题评判三次取多数票看系统答案是否与标准答案语义等价最终报告对齐分alignment score。实验效果检索结果图文互补融合才是王道开源模型的检索对比结果清晰地展示了图文两种路线各自的优劣势方法Recall1Recall5Recall20BM2544%75%88%Arctic 2.045%76%90%混合文本检索46%78%91%ColModernVBERT图像43%78%93%多模态混合检索49%81%95%表面上看文本在Recall1略胜图像46% vs 43%但到了Recall20图像反超93% vs 91%。最关键的发现是22道题只有文本方式成功另有18道题只有图像方式成功——两者失败在不同的地方具有互补性。这直接给出了多模态融合的动机融合后Recall1提升到49%比单独任何一路都强。不同规模的图像模型对比同样耐人寻味ColQwen22.2B在Recall1达到49%与混合文本检索持平ColPali2.9B是45%而只有250M参数的ColModernVBERT是43%。三者在Recall20都收敛到93-94%说明增大模型规模主要提升头部精度在更深的recall层面回报递减。MUVERA的效率-性能权衡数据也很实用配置Recall1Recall5Recall20ColModernVBERT无MUVERA43%78%93%MUVERA (ef1024)41%75%88%MUVERA (ef512)37%68%78%MUVERA (ef256)35%61%66%ef1024时只损失2个百分点但存储从1.65GB降到33MB这个权衡在很多工程场景下是完全值得的。闭源模型拉开了更大的差距Cohere Embed v4图像检索达到58% Recall1Voyage 3 Large文本检索52%分别比最强开源方案高9和6个点。两者融合后Recall5和Recall20进一步提升到91%和98%。问答结果文本整体占优但图像在特定场景不可替代RAG问答的结果同样信息量很大系统对齐分平均输入tokens无检索基线0.16173Hard Negative ImageRAG (k1)0.121233Hard Negative TextRAG (k1)0.391304Oracle ImageRAG (k1)0.681208Oracle TextRAG (k1)0.741294ImageRAG (k1)0.401228TextRAG (k1)0.621366ImageRAG (k5)0.715200TextRAG (k5)0.826022几个值得关注的细节无检索时对齐分只有0.16说明这些问题确实不能靠模型的参数记忆回答benchmark的难度设计是有效的。Hard Negative图像上下文把对齐分从0.40拉低到0.12说明看起来相关但其实是错的页面对图像模型的干扰比文本更大图像模型在这方面更脆弱。最反直觉的发现是k5的检索结果比Oracle k1给定金标准页面还要好TextRAG是0.82 vs 0.74ImageRAG是0.71 vs 0.68。这说明科学问答往往需要从多个相关页面综合信息单靠一页精准文档反而不够。ImageRAG在k从5降到1时性能下降比TextRAG更剧烈0.71降到0.40降幅0.31vs TextRAG0.82降到0.62降幅0.20说明图像问答系统对检索深度的依赖更强需要更多上下文才能发挥出来。图像独有优势的边界t-SNE才是真正的考验论文还做了一个很有意思的对抗性实验。在163个视觉元素里研究者手动分类出数据图表32个、架构图10个和概念性抽象图21个。针对这些视觉元素生成了30道只有看图才能回答的问题结果在Oracle检索条件下文本QA依然以0.67比0.53胜过图像QA。这说明大多数科学图表的信息其实在配套文字里都有描述OCR能捕捉到足够多的内容。但有一个例外让人印象深刻t-SNE散点图。这类图的核心信息是点的相对位置和聚类几何关系OCR只能抓到坐标轴标签和图例完全丢失了空间结构信息。针对一张HyDE论文里的t-SNE图构造了10道专项题图像QA准确率70%文本QA只有30%差距非常显著。这类可视化还包括机器学习中的流形可视化、物理中的向量场图、潜空间的几何表示等凡是空间关系本身就是信息的图都是文本表示的死角。反过来图像表示也有它的根本局限没有任何机制来做精确的词汇匹配。比如查询HyDE是什么缩写需要找到包含精确字符串HyDE的页面而图像embedding对相似外观的页面可能给出相近的分数完全不管那个词在不在。这正是为什么BM25在混合检索里依然不可或缺。论文总结图像和文本检索不是谁替代谁的关系而是在不同信息层面各有盲区、天然互补——把两者融合起来才能突破单模态的性能上限而对于t-SNE这类空间几何信息主导的科学可视化图像表示是目前文本无法替代的唯一出路。