VeriGuard_Enhancing LLM Agent Safety via Verified Code Generation【人工智能安全】基于形式化验证的代码生成框架VeriGuard在LLM智能体安全中的应用与实现本文提出了一种名为VeriGuard的新框架旨在通过形式化验证代码生成来增强大语言模型LLM代理的安全性。该框架采用双阶段架构第一阶段为离线策略生成利用LLM从自然语言请求中自动生成可执行的策略函数及其对应的可验证约束并通过迭代的验证、测试与形式化验证流程确保其符合安全规范第二阶段为在线策略执行在运行时对代理的每个动作进行监控和合规性检查防止违反预定义政策的行为被执行。实验表明VeriGuard在多个基准测试中能有效阻止攻击且保持高任务成功率。;适合人群从事AI安全研究的研究人员、致力于构建可信LLM代理系统的工程师以及关注自动化系统安全性的技术决策者。;使用场景及目标①在医疗、金融等高风险领域部署自主代理时提供形式化的安全保障②防御包括提示注入、内存污染在内的多种对抗性攻击③实现“正确即构造”的代码生成范式提升系统整体可靠性。;阅读建议此资源强调将形式化方法与LLM能力相结合建议读者重点关注其两阶段设计思想、各模块间的协同机制及实际部署中的权衡分析同时结合文中提供的实验数据深入理解其优势与局限。https://github.com/winkeytseng/blog/blob/main/VeriGuard_Enhancing%20LLM%20Agent%20Safety%20via%20Verified%20Code%20Generation.pdf