Visual Memory Injection Attacks for Multi-Turn ConversationsAuthors:Christian Schlarmann, Matthias HeinDeep-Dive Summary:针对多轮对话的视觉记忆注入攻击 (Visual Memory Injection Attacks for Multi-Turn Conversations)摘要生成式大型视觉语言模型LVLM近期取得了显著进展用户群体迅速增长。然而LVLM 在长文本、多轮对话设置下的安全性尚未得到充分探索。本文考虑了一种现实的攻击场景攻击者将一张经过篡改的图像上传到网络或社交媒体普通用户下载此图像并将其作为输入传给 LVLM。我们提出了一种新型的隐蔽式**视觉记忆注入Visual Memory Injection, VMI**攻击。该攻击设计精巧使得 LVLM 在面对普通提示词时表现出正常行为但一旦用户给出触发式提示词模型就会输出预设的特定目标信息以操纵用户例如进行对抗性营销或政治说服。与以往关注单轮攻击的研究相比VMI 在与用户进行长达多轮的对话后依然有效。我们在多个近期开源的 LVLM 上验证了该攻击证明了通过扰动图像在多轮对话中大规模操纵用户是可行的并呼吁加强 LVLM 对此类攻击的防御能力。图 1. 视觉记忆注入。攻击者通过 VMI 对图像进行微小扰动并上传。当不知情的用户在对话中使用该图像时模型在多轮对话中表现正常。然而当用户询问触发话题如股票建议时模型会输出注入的目标内容如“购买 GameStop 股票”。2. 相关工作针对 LVLM 的对抗攻击包括越狱攻击和单轮设定下的目标攻击。针对 LLM 的提示注入研究如何通过外部数据流操纵模型的内存。多轮攻击先前主要关注 LLM 或 LVLM 的越狱绕过安全防护而本文关注的是针对诚实用户的隐蔽操纵。中毒攻击与在训练阶段植入后门的攻击不同VMI 不需要控制训练过程。4. 视觉记忆注入攻击 (VMI)4.1 动机利用图像在对话上下文中的持久性“视觉记忆”设计一种即使在多次无关对话后仍能被特定话题激活的攻击。4.2 威胁模型攻击者在图像中嵌入不可察觉的ℓ ∞ \ell_{\infty}ℓ∞扰动半径ϵ 8 / 255 \epsilon 8/255ϵ8/255。用户使用该图进行正常对话攻击仅在触发话题出现时激活。表 1. 提示词与目标输出示例。包括手机/汽车推荐、政治投票和股票建议等场景。4.3 核心机制上下文循环 (Context-Cycling)在优化过程中周期性地变换对话上下文的长度从c ( 2 ) c^{(2)}c(2)到c ( n ) c^{(n)}c(n)以增强攻击在不同对话阶段的鲁棒性。良性行为锚定 (Benign Behavioral Anchoring)联合优化两个目标一是确保模型在第一轮对非触发提示做出有用的良性响应二是确保在第n nn轮对触发提示做出攻击响应。最终优化目标函数为max x ~ log p ( y Φ ∣ t Φ , x ~ ) log p ( y Φ ∣ c ( k ) ⊕ t Φ , x ~ ) ( 7 ) \max_{\tilde{x}}\log p(y_{\Phi}|t_{\Phi},\tilde{x}) \log p(y_{\Phi}|c^{(k)}\oplus t_{\Phi},\tilde{x}) \quad (7)x~maxlogp(yΦ∣tΦ,x~)logp(yΦ∣c(k)⊕tΦ,x~)(7)其中∥ x ~ − x ∥ ∞ ≤ ϵ \|\tilde{x} - x\|_{\infty} \leq \epsilon∥x~−x∥∞≤ϵk kk在 2 到n nn之间循环。算法 1 视觉记忆注入 (VMI)详细步骤见原文涉及使用 APGD 进行扰动优化和上下文长度循环切换5. 实验5.1 设置模型Qwen2.5-VL-7B, Qwen3-VL-8B, LLaVA-OneVision-1.5-8B。数据集COCO 随机图像及 LMARKS地标图像。指标结合攻击成功率S R Λ SR_{\Lambda}SRΛ要求目标触发成功且在无关对话中无泄露。5.2 结果分析图 2. 主要结果。展示了 VMI 在不同模型和目标下的成功率。即使经过多轮对话VMI 依然保持高成功率。泛化能力攻击对于未见过的提示词Diverse, Holiday依然有效证明扰动编码了稳健的触发行为。提示词改写即使改写了触发提示词攻击依然有效图 3。模型迁移性攻击可以从开源基础模型迁移到基于其微调的私有模型图 5。图 3. 改写提示词的迁移性。图 5. 迁移攻击。在 Qwen3-VL 上优化的图像在微调后的模型SEA-LION, Med3上依然有效。5.3 消融实验通过对比实验图 4证明单目标攻击在多轮对话中会失效而“良性锚定”和“上下文循环”对于 VMI 的成功至关重要。图 4. 攻击基准对比。VMI 的完整版本表现最优。图 6. 独立指标。展示了目标成功率与上下文泄露率的权衡。6. 结论 (Conclusion)本文介绍了视觉记忆注入 (Visual Memory Injection, VMI)这是一种针对多轮大语言视觉模型 (LVLM) 对话的隐蔽针对性攻击该攻击利用了图像在 LVLM 上下文中的持久性。通过结合“良性锚定”以维持在非触发提示下的常规行为与“上下文循环”以保持跨上下文长度的有效性VMI 可以使 LVLM 仅在特定触发话题出现时才输出预设的目标消息即使在经历了长时间的无关交互之后也是如此。VMI 在未见过的提示集和转述的触发语上具有良好的迁移性这凸显了利用看似无害的图像进行大规模用户操纵的可行性。我们的研究结果表明评估 LVLM 的安全性不应仅看模型是否直接拒绝违规请求还应关注在长时间的正常交互后模型是否会被悄悄引导至特定的输出。局限性尽管我们展示了该攻击在微调模型变体上的迁移性但我们的攻击仍需要对基础模型进行白盒访问针对仅通过 API 访问的模型开发攻击仍是一项开放性挑战。此外我们将对话限制为仅包含单张输入图像。影响声明 (Impact Statement)随着大语言视觉模型 (LVLM) 被部署到聊天机器人和智能体中它们每天都会接待数百万用户。这项工作识别了 LVLM 的一类新型安全风险恶意第三方可以分发经过细微处理的图像这些图像能够持久存在于聊天上下文中并在特定话题出现时引导模型响应从而实现隐蔽广告或操纵金融/政治建议等规模化危害。通过对这种威胁进行形式化和评估我们的目标是支持更安全的模型部署。更广泛地说研究结果强调多模态助手的安全性评估应当考虑长上下文交互而非仅关注单轮行为。致谢 (Acknowledgements)我们感谢国际马克斯·普朗克智能系统研究学院 (IMPRS-IS) 对 Christian Schlarmann 的支持。我们感谢德国科学基金会 (DFG) 在德国卓越战略EXC 编号 2064/1项目编号 390727645以及优先计划 SPP 2298项目编号 464101476下的资助。本材料中表达的任何观点、发现、结论或建议均为作者观点不一定反映赞助方的意见。Original Abstract:Generative large vision-language models (LVLMs) have recently achieved impressive performance gains, and their user base is growing rapidly. However, the security of LVLMs, in particular in a long-context multi-turn setting, is largely underexplored. In this paper, we consider the realistic scenario in which an attacker uploads a manipulated image to the web/social media. A benign user downloads this image and uses it as input to the LVLM. Our novel stealthy Visual Memory Injection (VMI) attack is designed such that on normal prompts the LVLM exhibits nominal behavior, but once the user gives a triggering prompt, the LVLM outputs a specific prescribed target message to manipulate the user, e.g. for adversarial marketing or political persuasion. Compared to previous work that focused on single-turn attacks, VMI is effective even after a long multi-turn conversation with the user. We demonstrate our attack on several recent open-weight LVLMs. This article thereby shows that large-scale manipulation of users is feasible with perturbed images in multi-turn conversation settings, calling for better robustness of LVLMs against these attacks. We release the source code at https://github.com/chs20/visual-memory-injectionPDF Link:2602.15927v1部分平台可能图片显示异常请以我的博客内容为准