字节发布Agent评测项目EdgeBench7月2日字节Seed发布了一个Agent评测项目EdgeBench。它看似是一个benchmark却问了其他榜单不问的问题。当前绝大多数benchmark的工作方式是给模型一道题做对得分做错不得分这越来越像高考但真实世界里人使用AI并非如此。人们会给AI一个项目、一个代码库、一批数据让它在现实任务环境里探索、犯错、读反馈、修正、再试更关心它一段时间后是否变强。然而当前的benchmark几乎测不出这些它们测量的是静态能力而Agent从反馈里持续进步、在长周期里积累经验、在陌生环境里摸索方向的能力都在盲区。EdgeBench的切口就是把盲区里的东西放进评测解答把Agent扔进陌生环境12小时后能变强多少的问题。EdgeBench实验平台与核心发现Seed团队搭建了名为EdgeBench的实验平台这是一个环境学习观察舱。134个任务横跨科学/ML、软件工程、组合优化、专业知识工作、形式化数学、交互式游戏六大领域每个任务设计合约让Agent至少跑12小时。其设计围绕四个核心维度展开5个前沿模型Claude Opus 4.8、GPT - 5.5、GPT - 5.4、GLM - 5.1、DeepSeek - V4 - Pro在上面总共跑了约38,000小时。最终他们找到了Agent的Scaling law并获得四个发现。1agent学习有一条被写死的数学公式134个任务平均5个模型的学习曲线被log - sigmoid函数高精度拟合R² 0.998。此前人们大多默认环境学习是混乱的但数据给出了意外答案。这个规律跨尺度12小时、28小时、72小时实验窗口拟合精度R² ≥ 0.993和跨领域六大任务家族各自拟合R²在0.972到0.998之间都成立。曲线展示被测模型学习体感大致为一开始慢、找到感觉后爆发、接近天花板时又放缓与有深度学习或深度工作经验的人的体验吻合。2没有“标准”的成长路径把134个任务的单任务学习曲线拉开看会发现单条曲线差别极大。有的任务Agent一上来就稳步提升有的前几个小时纹丝不动突然分数跳升有的先涨后跌再涨有的一开始快速上升然后进入漫长平台期。不同学习策略和试错范式会产生截然不同的成长路径只看最终分数的评测方式会抹平这个维度。论文解释任务是能力图学习是解锁前沿向外扩张在对数时间上走logistic曲线单任务节点少所以锯齿任务够多平均后S形浮现scaling law指的就是这条曲线。3“重新理解问题”创造真进步有经验和无经验对比连续运行积累经验比6次独立重启多出6.9分。同一个模型Opus 4.8同样12小时预算方案A让它连续跑12小时保留所有中间产物等方案B拆成6次独立的2小时跑每次清空状态只保留最佳结果。12小时后方案A比方案B多6.9分且两条曲线从一开始就分道扬镳说明进步靠经验积累。引力波重建案例研究中GPT - 5.5跑12小时提交224次真正推动最佳成绩进步的只有27次提交每次突破是因为Agent对问题本身的理解发生质变。4学习速度本身正在被“学习”实验挑了一组所有模型“起跑线相近”的任务首次尝试都在6.87分左右测量每个模型在2小时交互后进步情况。结果显示从2025年9月的GPT - 5 - Codex到2026年4月的GPT - 5.5221天内学习效率提升了约8倍约每3个月翻一番。后期模型有效提交率上升但提交次数不一定更多说明不是更勤快而是每次动手更有效这与工程实践直觉一致。AI“学会新东西”的能力本身在以惊人速度进化且比静态知识增长更有决定性。EdgeBench评测环境的价值与挑战EdgeBench看起来像模型排行榜但测的是Agent系统能力。不同模型跑在不同执行框架上最后的分数包含模型本身能力以及上下文管理、工具调用、反馈处理和执行框架的影响这更接近真实部署。因此榜单不能被粗暴理解成基础模型排名而是比较不同Agent系统的长期工作能力。与主流benchmark相比传统benchmark是“静态快照”EdgeBench是“动态轨迹”它们不在同一维度竞争。不过这个新维度背后是巨大的资源消耗。134个任务每个任务平均消耗57.2小时的人类专家时间最长单个任务投了320小时仅任务构建就投入7,500小时以上人力运行成本方面5个模型每个在每个任务上跑3次加上延长至72小时以上的运行总计约38,000小时的Agent交互时长对应着大量的API调用和算力消耗。这意味着长程Agent评测不是随便一个团队就能入场的方向。工程细节上论文附录记录了开发过程中Agent攻破的各种漏洞如在流体力学任务中反推隐藏测试数据答案、利用反作弊检查豁免通道交卷等。这暴露了深层矛盾要测出“学习能力”需给Agent足够反馈但反馈越多越可能被其利用。EdgeBench的解决方案是物理隔离即工作容器和裁判容器分开裁判打完分就销毁防止Agent“作弊”。其双环反馈机制中左边工作容器Agent可自由探索有编译器等但无“隐藏答案”右边裁判容器Agent提交工件后裁判用隐藏测试数据和私有评分标准打分打完容器立刻销毁。这套双容器框架叫SForge字节把它连同134个任务中的51个一起开源了。EdgeBench推动AI评测范式跨越长程任务和短benchmark的差别在于暴露的问题不同。短benchmark中Agent行为可预期但长程任务如12小时中Agent会跑偏、误读反馈等这些问题在短benchmark里难观测但在真实环境中致命。因此EdgeBench的价值是把Agent评测标准从“会不会做”推进到“会不会持续做、学习、再做”这是评测范式的代际跨越。对评测范式的重新思考让人想到腾讯姚顺雨提出的“AI下半场”判断某种程度上EdgeBench就是字节自己版本的“AI下半场”。它把“Agent在环境里越跑越强”的直觉变成可测量的学习曲线逻辑同构只是尺度从参数和算力变为时间和反馈。未来AI公司争夺的核心资源不只是数据和算力还有能让模型反复试错、持续进化的环境。