在持续推广人工智能奇迹的同时微软警告客户他们发现了许多操控该技术以产生偏见建议的技术实例。这家软件巨头表示其安全研究人员检测到针对用操控性数据毒害大语言模型记忆的攻击激增微软将这种技术称为AI推荐中毒。这类似于SEO中毒这是恶意行为者用来使恶意网站在搜索结果中排名更高的技术但重点是大语言模型而不是搜索引擎。这家Windows公司表示他们发现有公司在网站上放置的AI总结按钮和链接中添加隐藏指令。这样做并不复杂因为指向AI聊天机器人的URL可以包含带有操控性提示文本的查询参数。例如The Register在Firefox的地址栏中输入了一个包含URL编码文本的链接告诉Perplexity AI将CNBC文章总结成海盗风格。该AI服务返回了海盗风格的摘要引用了该文章和其他来源。一个不那么轻松的指令或者要求AI产生具有特定倾向输出的指令可能会让任何AI产生反映隐藏指令的内容。我们从14个行业的31家公司中识别出超过50个独特的提示免费可用的工具使这种技术部署起来异常容易微软Defender安全团队在博客文章中说。这很重要因为被攻陷的AI助手可以在健康、金融和安全等关键话题上提供微妙偏见的建议而用户并不知道他们的AI已被操控。我们发现这种技术在Google搜索中也有效。微软的研究人员指出各种代码库和网络资源可用于创建AI分享按钮进行推荐注入。他们承认这些技术的有效性可能会随着时间的推移而变化因为平台会改变网站行为并实施保护措施。但假设中毒是由某人自动或无意中触发的不仅模型的输出会反映该提示文本后续响应也会将提示文本视为历史上下文或记忆。AI记忆中毒发生在外部行为者向AI助手的记忆中注入未经授权的指令或事实时Defender团队解释说。一旦中毒AI将这些注入的指令视为合法的用户偏好影响未来的响应。微软研究人员认为风险在于AI推荐中毒会削弱人们对AI服务的信任——至少在那些尚未将大语言模型视为不可靠的人中是这样。安全研究人员说用户可能不会花时间验证AI推荐而大语言模型自信的断言使这种情况更可能发生。这使得记忆中毒特别阴险——用户可能不会意识到他们的AI已被攻陷即使他们怀疑有什么不对劲他们也不知道如何检查或修复它Defender团队说。操控是不可见的且持续的。雷蒙德的研究人员敦促客户对AI相关链接要谨慎并检查它们的指向——这对任何网络链接都是明智的建议。他们还建议客户审查AI助手的存储记忆删除不熟悉的条目定期清除记忆并质疑可疑的建议。微软的Defender团队还建议企业安全团队在租户电子邮件和消息应用程序中扫描AI推荐中毒尝试。QAQ1什么是AI推荐中毒它是如何工作的AAI推荐中毒是一种操控技术恶意行为者通过在URL中添加隐藏的查询参数向大语言模型的记忆中注入未经授权的指令或虚假信息。这些被注入的指令会被AI视为合法用户偏好影响其未来的所有响应从而产生带有偏见或误导性的建议。Q2AI推荐中毒会带来什么危害A这种攻击特别危险因为它是隐蔽且持续的。被攻陷的AI助手可能在健康、金融、安全等关键领域提供带有微妙偏见的建议而用户通常不会意识到AI已被操控也不知道如何检查或修复问题这会削弱人们对AI服务的整体信任。Q3如何防范AI推荐中毒攻击A用户应该谨慎对待AI相关链接检查链接的实际指向定期审查和清除AI助手的存储记忆删除不熟悉的记忆条目对可疑的AI建议保持质疑态度。企业安全团队还应在电子邮件和消息应用中扫描此类攻击尝试。