MEDSYN: Benchmarking Multi-EviDence SYNthesis in Complex Clinical Cases for Multimodal Large Language ModelsAuthors:Boqi Chen, Xudong Liu, Jiachuan Peng, Marianne Frey-Marti, Bang Zheng, Kyle Lam, Lin Li, Jianing QiuDeep-Dive Summary:MEDSYN: 针对复杂临床案例中多证据合成的多模态大语言模型评测基准摘要 (Abstract)多模态大语言模型MLLMs在医学应用中展现了巨大潜力但现有的评测基准未能充分反映现实临床的复杂性。本文介绍了MEDSYN这是一个多语言、多模态的评测基准包含高度复杂的临床案例每个案例包含多达 7 种不同的视觉临床证据CE类型。通过模拟临床工作流程我们在鉴别诊断DDx生成和最终诊断FDx选择两个任务上评估了 18 种 MLLM。研究发现虽然顶尖模型在 DDx 生成上往往能匹配甚至超越人类专家但在 DDx 到 FDx 的表现跨度上所有 MLLM 都表现出比专家更大的差距这表明模型在合成异构临床证据方面存在失效模式。通过消融实验我们将此失效归因为(i) 过度依赖区分度较低的文本证据如病史(ii) 跨模态证据利用差距。我们引入了“证据敏感性”Evidence Sensitivity来量化后者并证明较小的差距与较高的诊断准确率相关。1. 引言 (Introduction)虽然 MLLM 在临床任务中进步显著但现有基准如 VQA-Rad, PMC-VQA 等多局限于单图视觉问答缺乏对异构证据实验室检查、多模态成像、显微镜图像等的综合推理。图 1(a) 临床医生在综合证据确定最终诊断 (FDx) 之前会先整理出一份广泛的鉴别诊断 (DDx) 列表。(b) 模型在 DDx 覆盖率和 FDx 准确率之间存在巨大差距远超人类专家。MEDSYN 基准的设计旨在解决这些局限性其特点包括高复杂性平均每个案例包含 3.97 种证据类型和 8.42 张图像。多语言支持涵盖英语和中文案例。模拟临床流程评估 DDx 生成和 FDx 选择两个阶段。2. 相关工作 (Related Work)当前的 MLLM如 GPT-4, Gemini虽然具备零样本医学诊断能力但仍存在幻觉和偏见。现有的多模态医学基准如 OmniMedVQA虽然涵盖了多种证据类型但通常将它们孤立为单图任务。MEDSYN 通过整合多图、多证据类型填补了这一空白见表 1。3. 基准测试 (Benchmark)3.1 数据收集与预处理数据来源于《新英格兰医学杂志》NEJM和《中华医学杂志》的临床病例。每个案例包括文本证据病史、体检和视觉证据影像、显微镜、电生理等。经过专家验证最终获得 452 个案例398 个英文54 个中文。图 3(a) 视觉临床证据 (CE) 类型的分布。(b) 每个案例的视觉 CE 类型数量。3.2 基准设计DDx 生成开放式任务要求模型按概率排序给出鉴别诊断列表。FDx 选择闭合式多选题通过 GPT-4 生成干扰项并经过专家审核。图 2英文上和中文下的最终诊断选择任务示例。4. 实验 (Experiments)4.2 主要结果研究评估了包括 GPT-4o、Gemini 1.5 Pro 和 Claude 3.5 Opus 在内的 18 个模型。DDx 与 FDx 的巨大差距领先模型在 DDx 覆盖率上超过专家但在 FDx 准确率上逊于专家。视觉理解是瓶颈当视觉证据被替换为专家撰写的文本描述时模型准确率显著提升超过 10%。跨语言差异模型在不同语言下的排名和 DDx-FDx 差距存在显著差异。4.3 分析结果发现 1文本偏见导致模型对证据权重的错误校准。消融实验表明移除或随机化文本病史REMOVE-TEXT / RANDOM-TEXT反而能提高诊断准确率见表 4。这表明模型过度关注非特异性的病史文本从而忽略了更具区分性的视觉图像信息。图 5Lingshu 模型在 RANDOM-TEXT 干预前后对文本和图像标记的层级相对注意力 (RAPT)。发现 2跨模态对齐失衡扭曲了证据校准。我们引入证据敏感性 (Evidence Sensitivity)S ( m ) S^{(m)}S(m)来量化移除某一证据后模型后验概率的变化S ( m ) J S D ( p θ ( y ∣ E ) ∥ p θ ( y ∣ E ∖ { e m } ) ) S^{(m)} \mathrm{JSD}(p_{\theta}(y \mid \mathcal{E}) \parallel p_{\theta}(y \mid \mathcal{E} \setminus \{e_{m}\}))S(m)JSD(pθ(y∣E)∥pθ(y∣E∖{em}))研究发现模型对同一证据在“原始图像”和“专家文本描述”两种模态下的敏感度不一致呈 L 型分布存在明显的跨模态利用差距。图 6CT 和显微镜图像的跨模态敏感度。大多数点分布在轴线附近表明模型对某一模态下的证据不敏感。通过测试时提示词优化 (Prompt Refinement)和针对性监督微调 (Targeted SFT)我们可以减小这种差距并提升模型表现见表 6 和表 7。5. 结论 (Conclusion)MEDSYN 揭示了 MLLM 在处理复杂医学案例时的核心短板虽然它们具备深厚的医学知识体现在 DDx 高覆盖率但在合成多源证据以做出最终诊断时由于文本偏见和跨模态不一致性表现仍远逊于人类专家。证据敏感性指标为未来改进模型的临床决策能力提供了行动指南。Original Abstract:Multimodal large language models (MLLMs) have shown great potential in medical applications, yet existing benchmarks inadequately capture real-world clinical complexity. We introduce MEDSYN, a multilingual, multimodal benchmark of highly complex clinical cases with up to 7 distinct visual clinical evidence (CE) types per case. Mirroring clinical workflow, we evaluate 18 MLLMs on differential diagnosis (DDx) generation and final diagnosis (FDx) selection. While top models often match or even outperform human experts on DDx generation, all MLLMs exhibit a much larger DDx–FDx performance gap compared to expert clinicians, indicating a failure mode in synthesis of heterogeneous CE types. Ablations attribute this failure to (i) overreliance on less discriminative textual CE (e . g . \it{e.g.}e.g., medical history) and (ii) a cross-modal CE utilization gap. We introduce Evidence Sensitivity to quantify the latter and show that a smaller gap correlates with higher diagnostic accuracy. Finally, we demonstrate how it can be used to guide interventions to improve model performance. We will open-source our benchmark and code.PDF Link:2602.21950v1部分平台可能图片显示异常请以我的博客内容为准