Loop+Harness:清华大学自进化Agent论文解读(附下载)
当下Codex、Claude Code等各类Agent层出不穷但绝大多数产品仍停留在预训练固定提示词静态工具的模式模型上线后能力冻结交互产生的经验无法沉淀复用每一轮对话都是重复从零推理。2026年6月清华大学、Frontis.AI联合发布重磅综述《Self-Improving Agents in the Era of Experience : A Survey of Self-to Meta-Evolution》首次系统性提出经验时代Era of Experience推翻了靠静态数据集训练模型的传统思路完整搭建从自进化到元进化Agent全链路技术框架。AI正式进入经验时代传统大模型逻辑是训练阶段定型、部署阶段消耗。研发阶段投喂海量静态文本、代码数据完成预训练上线后仅依靠Prompt、固定工具库完成单次任务交互用户操作、环境试错产生的交互轨迹用完即弃不会反哺模型本身。而经验时代核心逻辑完全反转。AI Agent的核心价值不再取决于预训练数据集而是部署运行过程中持续生成的交互经验。整套系统形成闭环循环和用户/环境交互产生轨迹→提炼有效经验→改造自身能力底座→再次交互迭代实现越用越强。经验时代的基础设施什么是Harness讨论智能体如何进化之前必须先理解一个核心概念——Harness。一个部署后的智能体系统由四个部分共同决定基座模型、可变的状态化Harness、用户侧目标与反馈、环境侧工具与执行状态。其中Harness是经验进化的核心载体。为什么Harness如此关键因为模型权重更新一次需要数天和数百万美元而Harness的状态在部署期间可以被快速检查、修改和治理。它直接决定了模型能看到什么、能做什么、能捕获什么证据以及哪些交互能变成可复用的经验。当前Agent的发展可以划分为三代第一代任务闭环Task LoopsAgent在一个任务内完成推理、行动、观察的闭环任务结束循环即终止。仅实现思考工具调用基础链路任务结束后所有记忆、操作记录全部清空。这样的缺点是无法沉淀跨任务经验只能处理一次性简短需求不存在长期迭代能力。第二代跨任务复用Cross-Task Reuse引入持久记忆、标准化技能库、可复用工作流不同会话间能复用历史操作。但整套运行框架、Skill、记忆规则全部依靠人工提前配置上线后无法自主更新人类是唯一的系统维护者不存在自主进化机制。第三代运行时系统Runtime Systems将Harness本身变为可被Agent修改和进化的对象。系统部署上线后无需人工干预自动采集交互记录、提纯有效经验目前Codex、Claude Code、OpenClaw等爆款编码智能体底层架构全部基于Harness体系搭建。三代演进的核心变化正是循环从“任务内闭环”扩展为“跨任务、跨部署的持续进化循环”。论文将进化过程分为两条路径快速路径是在Harness层面更新技能和记忆便宜、快速、可逆慢速路径是将累积经验内化到模型参数中昂贵、缓慢、几乎不可逆。这两条路径构成了整个自我进化体系的骨架。智能体如何进化从外到内的五大路径论文详细拆解了经验驱动进化的五个主要层面。Skills把经验沉淀成可复用的程序这是最直观的外部进化方式。智能体可以将成功解决某类问题的步骤打包成一个可复用的技能Skill存储在外部库中包含描述文档、执行指令、参考资料、可运行脚本四大模块。完整闭环分为创建、使用、进化三阶段创建包括人工编写、从已有资源中挖掘、从成功轨迹中提炼三种方式搭建初始技能仓库使用Harness 根据用户需求检索匹配技能支持多技能拼接组合在沙箱环境安全执行自主进化从成功/失败轨迹自动挖掘优化点自主新增技能、修复流程缺陷、淘汰长期闲置冗余技能。传统 RAG 仅存储静态文本技能直接沉淀完整操作流程企业搭建智能体时仅迭代技能库就能适配业务无需改动底层大模型。2.记忆沉淀历史状态、用户偏好与失败教训技能解决“怎么做事”记忆解决“发生过什么、用户偏好、历史问题”存储碎片化、非流程化长期交互经验。论文把记忆分成三层表示层关注存什么、怎么组织。记忆可以是原始日志、情景轨迹或语义摘要组织结构可以是扁平记录、分层存储或图结构。操作层把记忆看作动态管理的流核心操作包括写入、压缩、合并、检索和更新每种操作都涉及该写什么、该清理什么的决策。演进层是记忆系统自身的进化内容进化包括智能体写新经验、压缩旧记录、更新过期信息。机制进化更进一步让智能体改进记忆的组织和提取方式。策略进化则让系统学习何时该写、何时该取、何时该忘。这已从被动存储走向主动管理。3.环境Agent进化的天花板论文将环境定义为Agent能力的天花板。一个只能聊天的Agent和一个能操作文件、执行代码、浏览网页的Agent成长上限完全不同。环境决定了Agent能获取什么样的经验而这些经验的质量直接决定了改进的上限。论文从三个维度分析环境的能力上限行动多样性能执行什么操作、反馈密度环境能提供多频繁、多可归因的反馈信号、任务时长支持多长的有状态任务中间错误是否可恢复。这三个维度互相耦合增加动作多样性但不改善可观测性会让轨迹更丰富但更难诊断。环境建设框架包括三层。第一层是可执行性软件能不能变成Agent可以实际操作的环境终端和命令行是最直接的路径。第二层是协议标准化MCP标准化了Agent与工具的边界A2A标准化了Agent之间的边界AG-UI标准化了Agent与用户界面的边界。第三层是可学习性环境产生的交互轨迹能不能转化为可用于训练的信号这是最难的因为大多数环境只有最终的成功或失败信号缺少密集的过程奖励。很多人只盯着模型变强但环境的改进往往投入产出比更高。给Agent更好的终端环境、更丰富的工具接口、更密集的反馈渠道可能比微调模型参数效果更明显。4.参数固化把经验内化进权重前面三条路径都是外挂式改进Skill存在外部文件里记忆存在外部存储中环境是外部系统。这些改进灵活但有一个代价每次使用都要重新加载到上下文里消耗token、增加延迟。参数固化是另一条路把稳定的经验内化进模型权重本身。这条路的价值主要体现在三个方面第一内化稳定的运行时先验省去反复的上下文编排开销。第二权重更新的迁移性更好。一个Skill文件只有被正确检索到才有效但一个好的策略更新可以跨任务、跨会话生效。第三参数更新支持集体进化多个用户的经验可以汇聚成训练信号。参数固化分成部署前训练和部署后训练。部署前训练是当前主流用可执行环境、验证器和强化学习在模型发布前把Agent能力训练好SWE-RL和ComputerRL都是代表性工作。部署后训练是前沿方向Cursor的实时RLLoop就是一个例子生产环境中的用户反馈被聚合为奖励信号频繁更新模型权重。目前部署后训练仍处于非常早期的阶段。5.元进化谁来决定如何进化当进化过程本身也成为优化的对象时就进入了元进化时代。论文用两个维度来回答这个问题。**谁控制进化是智能体自己决定还是由一个独立的元层来调度“什么在进化”**是具体的内容资产还是执行机制抑或是改进策略本身两个维度交叉形成了三种清晰的进化形态。**形态一TaskAgent自我进化。**这是最基础的形态智能体将部署经验转化为可复用的内容资产增删技能、写入记忆。进化是行动的自然副产品没有独立的监督者。**形态二TaskAgent元学习。**智能体不再只是积累内容而是改进自己的执行方式或学习策略。比如学习“什么时候该寻求帮助”、“如何筛选高质量训练数据”。控制回路仍在TaskAgent内部但改进的是如何学习和执行本身。形态三元进化智能体。这是最高形态。改进TaskAgent不再由内部自发完成而是由一个功能独立的元层持续控制。元层不解决用户任务它解决的是如何让TaskAgent更好地解决用户任务。这个元层可以控制TaskAgent的记忆规则、修改Harness配置、甚至管理整个技能库的增删策略。理想的元进化Agent应该把内容资产、执行机制、改进策略、元层自身都纳入统一的可学习控制问题。这是一个尚未实现的目标。怎么测一个Agent是否真的在变强现有 SWE-bench、WebArena 只测单次任务得分完全无法衡量持续进化效果论文提出纵向评估六大核心指标正向泛化增益进化后新任务完成率反向留存率进化后旧能力不遗忘长期稳定性多次更新后性能不衰减进化效率每提升能力消耗的交互/算力成本路径归因能力提升来自技能/记忆/模型哪一层安全无退化进化不新增漏洞、风险。同时推出 SIP-Bench 标准化评测协议统一所有自进化Agent纵向对比标准未来所有自进化类产品都将基于这套框架做对标。潜在风险自进化等于移动攻击面自进化让安全问题发生了质变。传统AI安全做的是一次性审计模型发布前测试一遍确认安全后上线。但自进化Agent在部署后持续变化今天安装的Skill、写入的记忆、更新的策略都可能让昨天通过审计的系统不再安全论文指出了四大核心新型威胁技能供应链攻击恶意技能植入库长期窃取密钥、执行高危操作记忆投毒污染历史信息长期扭曲Agent判断反馈操纵伪造成功轨迹诱导AI学习错误行为对齐漂移持续迭代后原本合规的AI逐步偏离安全约束。当前的安全方法大多只针对单一攻击面属于局部缓解而非系统级保障。理想的安全架构应该覆盖发布前认证、部署中监控、每次更新都治理、支持回滚和恢复。开放问题论文最后列了九个开放问题挑几个最有讨论价值的来说。弱反馈下的信用分配。自进化在程序执行和形式验证等领域进展最快因为成功与否有可靠的检查。但部署环境的信号通常很弱目标不明确、奖励稀疏。一条轨迹成功了到底是哪一步、哪个Skill、哪条记忆起了作用这个问题目前没有好的解法。自生成经验的稳定性。Agent从自己的交互中学习意味着主要在学习自己生成的数据上。递归地在自产数据上训练会收窄分布Agent可能在自己的先验上打转逐渐丢失曾经拥有的能力。没有外部信号的定期校准长期运行的Agent可能会悄悄退化。跨模型版本的迁移。Skill、记忆、环境配置这些外部资产在模型升级后还能用吗一个为Claude3.5写的Skill文件换了Claude4还有效吗随着模型迭代速度加快这个问题越来越紧迫。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

相关新闻

硬核拆解:7B 模型到底怎么算出来的?以 Qwen2.5-7B 为例手把手复现

硬核拆解:7B 模型到底怎么算出来的?以 Qwen2.5-7B 为例手把手复现

很多人看到大模型名字里的7B,只知道是“70 亿参数”,但到底是哪些层、哪些参数加起来等于 7B?为什么官方写 7.61B 还叫 7B 模型? 今天我们就以Qwen2.5-7B官网公开参数为实例,一步步把“7B 规模”完整算清楚&#xff0…

2026/7/18 23:08:10 阅读更多 →
商业活动人形机器人租赁项目:从技术选型到现场部署完整落地方案(青岛瀚森传媒实操版)

商业活动人形机器人租赁项目:从技术选型到现场部署完整落地方案(青岛瀚森传媒实操版)

随着人形机器人运动控制、高精度语音交互、ROS2架构及大模型智能交互技术持续迭代升级,人形机器人已广泛落地于科技展会、企业展厅、商场开业、校园科技节、品牌发布会、楼盘营销、企业庆典等商业场景。不同于普通设备暖场,现阶段商业人形机器人项目是一…

2026/7/18 23:08:10 阅读更多 →
Linux 解压查看神器 bzcat 超详细教程|不解压直接看 .bz2 内容

Linux 解压查看神器 bzcat 超详细教程|不解压直接看 .bz2 内容

Linux 学习资料 https://pan.baidu.com/s/1A6qqBk2ViE_Le2cQjSowkQ?pwd7uz8 一、命令简介 bzcat 是一个用于直接查看 .bz2 格式压缩文件内容的 Linux 命令行工具。它无需实际解压文件到磁盘,而是将解压后的内容直接输出到标准输出(通常是终端屏幕&a…

2026/7/18 23:07:09 阅读更多 →

最新新闻

【JVM调优实战】04-JVM内存结构

【JVM调优实战】04-JVM内存结构

JVM 内存结构:堆、栈、方法区到底装了什么 本文是《JVM调优实战》专栏第 4 讲。 如果你写过 Java 程序,一定遇到过 OutOfMemoryError 或 StackOverflowError。但你是否清楚,这些错误分别发生在 JVM 的哪个内存区域?为什么堆会 OOM 而程序计数器不会?为什么调小 -Xss 就容易…

2026/7/19 0:14:49 阅读更多 →
【JVM调优实战】03-三大主流JVM实现横评

【JVM调优实战】03-三大主流JVM实现横评

三大主流 JVM 实现横评:HotSpot、OpenJ9、GraalVM 怎么选 本文是《JVM调优实战》专栏第 3 讲。 引言 大多数 Java 开发者日常接触的 JVM 只有一个——HotSpot,它是 Oracle JDK 和 OpenJDK 的默认实现,也是绝大多数生产环境的标配。但 HotSpot 并不是唯一的选择,也不是所有…

2026/7/19 0:14:49 阅读更多 →
【JVM调优实战】02-JVM架构全景

【JVM调优实战】02-JVM架构全景

JVM 架构全景:类加载、运行时数据区、执行引擎一次讲透 本文是《JVM调优实战》专栏第 2 讲。 引言 如果你把 JVM 比作一座工厂,那么类加载子系统就是"原料采购部"——负责把 .class 文件搬进工厂;运行时数据区是"车间与仓库"——堆是产品仓库,栈是工位…

2026/7/19 0:14:49 阅读更多 →
【JVM调优实战】01-为什么要学JVM调优

【JVM调优实战】01-为什么要学JVM调优

为什么要学 JVM 调优:从一次线上 OOM 事故说起 本文是《JVM调优实战》专栏第 1 讲。 引言 2025 年双十一当晚,某电商平台的核心订单服务在流量峰值到来的第 47 分钟突然不可用。监控面板上,服务的响应时间从 200ms 飙升到超时,错误率从 0.01% 暴涨至 99%。运维团队紧急重启…

2026/7/19 0:14:49 阅读更多 →
【JVM原理详解】01-从一次编写到处运行到JVM

【JVM原理详解】01-从一次编写到处运行到JVM

从一次编写到处运行到JVM 引言 “Write Once, Run Anywhere”(WORA)是Java诞生之初最响亮的口号,也是Java能够迅速占领企业级开发市场的核心武器。但这句话背后究竟隐藏着怎样的技术机制?为什么C/C做不到的事情Java却能实现&#…

2026/7/19 0:14:49 阅读更多 →
大模型二面被问:你那么多skill怎么做版本管理?我说保存为多个文件夹。他说:那你怎么知道每个版本的区别呢,skill多起来你会抓狂的…

大模型二面被问:你那么多skill怎么做版本管理?我说保存为多个文件夹。他说:那你怎么知道每个版本的区别呢,skill多起来你会抓狂的…

上周有个粉丝去面大模型,二面聊到大模型应用开发,面试官问了一个他觉得"不怎么重要"的问题:“你项目里用了不少 Skill,怎么做版本管理的?” 他当时愣了一下,心想这又不是写代码,版本…

2026/7/19 0:13:49 阅读更多 →

日新闻

Go语言静态资源打包方案对比与实践指南

Go语言静态资源打包方案对比与实践指南

1. 项目背景与核心需求在Go语言开发中,我们经常需要处理静态资源文件的打包问题。无论是Web应用的模板文件、前端资源,还是配置文件、证书等,都需要随程序一起分发。传统做法是将这些文件与编译后的二进制文件放在同一目录下,但这…

2026/7/19 0:00:40 阅读更多 →
Go语言实现高性能LDAP认证服务的架构与实践

Go语言实现高性能LDAP认证服务的架构与实践

1. 项目背景与核心价值LDAP(轻量级目录访问协议)作为企业级身份认证的黄金标准,已经服务了超过80%的财富500强公司。我在金融科技领域实施统一认证体系时,发现传统Java方案存在启动慢、内存占用高等痛点。而Go语言凭借其协程并发模…

2026/7/19 0:00:40 阅读更多 →
【AI面试官实战指南】:用ChatGPT模拟10类高频技术岗面试,3天提升应答精准度92%

【AI面试官实战指南】:用ChatGPT模拟10类高频技术岗面试,3天提升应答精准度92%

更多请点击: https://intelliparadigm.com 第一章:AI面试官实战指南的核心价值与适用场景 AI面试官并非替代人类HR的“黑箱工具”,而是以可解释、可审计、可迭代的方式,赋能招聘全链路的关键基础设施。其核心价值在于将主观经验沉…

2026/7/19 0:00:40 阅读更多 →

周新闻

Go语言静态资源打包方案对比与实践指南

Go语言静态资源打包方案对比与实践指南

1. 项目背景与核心需求在Go语言开发中,我们经常需要处理静态资源文件的打包问题。无论是Web应用的模板文件、前端资源,还是配置文件、证书等,都需要随程序一起分发。传统做法是将这些文件与编译后的二进制文件放在同一目录下,但这…

2026/7/19 0:00:40 阅读更多 →
Go语言实现高性能LDAP认证服务的架构与实践

Go语言实现高性能LDAP认证服务的架构与实践

1. 项目背景与核心价值LDAP(轻量级目录访问协议)作为企业级身份认证的黄金标准,已经服务了超过80%的财富500强公司。我在金融科技领域实施统一认证体系时,发现传统Java方案存在启动慢、内存占用高等痛点。而Go语言凭借其协程并发模…

2026/7/19 0:00:40 阅读更多 →
【AI面试官实战指南】:用ChatGPT模拟10类高频技术岗面试,3天提升应答精准度92%

【AI面试官实战指南】:用ChatGPT模拟10类高频技术岗面试,3天提升应答精准度92%

更多请点击: https://intelliparadigm.com 第一章:AI面试官实战指南的核心价值与适用场景 AI面试官并非替代人类HR的“黑箱工具”,而是以可解释、可审计、可迭代的方式,赋能招聘全链路的关键基础设施。其核心价值在于将主观经验沉…

2026/7/19 0:00:40 阅读更多 →

月新闻