同一个模型,换个执行框架效果差了近三成——Agent框架不是包装纸
你花了一样的API调费买了同一个模型但最后能完成多少任务——可能差出将近三成。这个数据来自衔远科技大观研究院7月份发布的一篇论文叫EnterpriseClawBench。他们把AI从传统考试benchmark选择题、问答评分搬进了真实企业的办公室——852个真实工作会话中抽取的任务覆盖研发、销售、市场、HR、财务、运营、产品、管理这些岗位。然后拿不同模型不同Agent框架的组合去跑看谁能把活儿干完。论文里有一个结果特别值得单独拎出来说。同一个模型配不同的Agent框架在120个Lite评测任务上的得分最低的一组0.458最高的到了0.62-0.64区间。什么意思呢模型没变API价格没变但套上不同的执行层实际能干完的活差了18个百分点。这18个百分点你一分钱没少花。API调费照付Token照烧但产出打了七折。为什么差距有这么大Agent框架看着像一层壳——把模型接进来让它能读文件、调工具、写交付物。但这层壳决定了模型在实际任务里能不能真正用起来。论文里提到几个关键变量工具调用的精准度、文件读写路径是否健壮、多步任务出错后的修复能力、权限控制和执行链路的长度。举个例子你要Agent根据会议录音和项目群聊天记录写一份日报。这不是听懂然后写这么简单——Agent要先读多份文件录音文字版、聊天记录截屏、Excel进展表理解不同文件之间的上下文关系再按日报格式生成交付物。如果框架的读文件环节出了问题——比如路径写死导致找不到附件或者对异构文件PDF/Excel/图片/音频转文字的处理顺序不当——那模型再强也没用它在第一步就卡住了。所以框架不是在包装模型是在重塑模型能做什么。这跟你的关系是什么如果你在公司里采购AI工具大概率拿到的是供应商报的底层模型参数用了哪个模型、API价格多少、benchmark跑分多高。这是2024年大家关注的维度。但EnterpriseClawBench这组数据提醒了一个被忽略的维度同一个模型套不同框架的效果能差出一截。你买的不只是一个模型是一整套执行系统。而这套执行系统好不好用在API价格表上看不出来在模型跑分榜上也看不出来。如果选模型像买车——大家都知道不能只看发动机参数还要看变速箱、悬挂、车机系统。Agent框架就是AI这辆车的变速箱。发动机马力一样变速箱不行照样跑不起来。论文本身的数据也很诚实即使是当前最强的组合Codex GPT-5.5在这120个真实企业任务上也只拿了0.663分。真实企业任务远比公开benchmark难——因为真实任务不是回答一个问题而是读文件→理解上下文→调工具→生成交付物→保留证据的多环节复合链条任何一环断了结果就不可用。这个分数本身不是重点重点是如果你只用benchmark分数选模型你花出去的钱买到的能力和实际拿到手的差距就藏在这0.663和你的实际场景之间。最后说一句框架差距这18个百分点没什么玄学。它衡量的是同一个大脑身体好不好用。API价格降了再降模型跑分越刷越高——但如果差的那层执行壳没人关注你花的AI预算里可能有相当一部分是在为执行损耗买单。数据来源注释EnterpriseClawBench论文https://huggingface.co/papers/2606.23654代码仓库https://github.com/FrontisAI/EnterpriseClawBench论文登Hugging Face Daily Papers日榜第二2026年7月852个任务基于2026年3-5月真实企业内部Agent使用记录构建120个Lite任务子集经人工审计

相关新闻

Cursor全局替换失效真相:VS Code兼容模式、语言服务器缓存、项目根识别三重陷阱(仅限内部团队流传)

Cursor全局替换失效真相:VS Code兼容模式、语言服务器缓存、项目根识别三重陷阱(仅限内部团队流传)

更多请点击: https://kaifayun.com 第一章:Cursor全局替换失效的真相全景图 Cursor 的全局替换(CtrlH → 启用“Replace in Files”)看似强大,却常在真实项目中悄然失效——不是功能缺失,而是多重隐式约束…

2026/7/18 21:17:52 阅读更多 →
如何评估团队 AI 编码实践的成熟度?VibeInsight 用数据代替感觉

如何评估团队 AI 编码实践的成熟度?VibeInsight 用数据代替感觉

什么是 AI 编码实践的成熟度?为什么很多团队明明天天在用 AI,却说不清自己到底用得怎么样?这是研发管理者在推广 AI 编程半年后,最容易卡住的一个问题。思码逸的体会是:评估成熟度不能靠感觉,要靠数据。问题…

2026/7/18 21:17:52 阅读更多 →
里氏替换原则

里氏替换原则

里氏替换原则是指,对于已经继承了父类的子类,可以用父类容器来装载子类对象,便于对象的管理与存储。而在需要执行子类内部的具体逻辑时,则搭配is与as关键字来使用。is关键字用于判断某个对象是否属于某个类,若是则返回…

2026/7/18 21:17:52 阅读更多 →

最新新闻

瑜伽馆管理系统有什么功能?约课系统哪家好?

瑜伽馆管理系统有什么功能?约课系统哪家好?

开一家瑜伽馆,课程安排、会员管理、课时费核算、教练排班……每一项都需要投入时间和精力。随着会员数量增多,纯靠人工管理越来越吃力。这时候,一套好用的瑜伽馆管理系统就成了刚需。但市面上的管理系统五花八门,功能、价格、操作…

2026/7/18 22:01:29 阅读更多 →
AI爆发时代下,中国教育如何跟进与改进

AI爆发时代下,中国教育如何跟进与改进

AI爆发时代下,中国教育如何跟进与改进引言:AI时代正在重塑教育格局2022年以来,以大语言模型、生成式人工智能、多模态AI和智能机器人为代表的新一轮人工智能技术快速发展,推动全球进入AI应用快速普及的新阶段。AI已经广泛应用于办…

2026/7/18 22:01:29 阅读更多 →
完整的数据接口调用过程

完整的数据接口调用过程

整体架构&#xff1a;Thymeleaf页面 ↔ SpringBoot代理接口 ↔ 数据网关 1. 前端层 <!DOCTYPE html> <html lang"zh-CN" xmlns:th"http://www.thymeleaf.org"> <head><meta charset"UTF-8"><title>公共数据展示&l…

2026/7/18 22:01:29 阅读更多 →
Kimi K3:智能的新前沿

Kimi K3:智能的新前沿

Kimi K3&#xff1a;智能的新前沿 原创 Kimi K3 月之暗面 Kimi 2026年7月17日 01:02 天津 犯其至难而图其至远者&#xff0c;发之以勇&#xff0c;守之以专&#xff0c;达之以强。 今天&#xff0c;我们正式推出 Kimi K3&#xff0c;我们迄今能力最强的模型。 Kimi K3 是一个…

2026/7/18 22:01:29 阅读更多 →
小蜜陪护机器人 - ESP32-CAM 摄像头配置指南

小蜜陪护机器人 - ESP32-CAM 摄像头配置指南

小蜜陪护机器人 ESP32-CAM 摄像头配置指南 一、小蜜陪护机器人使用 ESP32-CAM 摄像头 小蜜陪护机器人集成了计算机视觉能力&#xff0c;能够实时分析家中画面&#xff0c;提供安防监控、老人看护、宠物观察等功能。为了实现这一能力&#xff0c;小蜜主要采用 ESP32-CAM 作为默…

2026/7/18 22:01:29 阅读更多 →
ClickHouse跳数索引的设计与应用:Bloom Filter与MinMax在查询加速中的效果

ClickHouse跳数索引的设计与应用:Bloom Filter与MinMax在查询加速中的效果

ClickHouse跳数索引的设计与应用&#xff1a;Bloom Filter与MinMax在查询加速中的效果 一、全表扫描40亿行&#xff0c;ClickHouse也扛不住 在一个数据分析场景中&#xff0c;表user_events按小时分区存储了40亿条用户行为事件&#xff0c;查询"找出过去一周所有通过utm_s…

2026/7/18 22:00:29 阅读更多 →

日新闻

从模糊意图到可执行指令:Claude PRD中Prompt Engineering与需求颗粒度的5级映射法则

从模糊意图到可执行指令:Claude PRD中Prompt Engineering与需求颗粒度的5级映射法则

更多请点击&#xff1a; https://kaifayun.com 第一章&#xff1a;从模糊意图到可执行指令&#xff1a;Claude PRD中Prompt Engineering与需求颗粒度的5级映射法则 在Claude驱动的产品需求文档&#xff08;PRD&#xff09;生成实践中&#xff0c;原始业务意图往往以自然语言片…

2026/7/18 0:00:38 阅读更多 →
Cursor配置生成失效?3大隐藏陷阱+4行修复代码,资深工程师连夜整理的紧急补救清单

Cursor配置生成失效?3大隐藏陷阱+4行修复代码,资深工程师连夜整理的紧急补救清单

更多请点击&#xff1a; https://codechina.net 第一章&#xff1a;Cursor配置生成失效&#xff1f;3大隐藏陷阱4行修复代码&#xff0c;资深工程师连夜整理的紧急补救清单 Cursor 配置生成突然失效&#xff0c;是近期高频报障场景。表面看是 cursor.config.json 未更新或 LSP…

2026/7/18 0:00:38 阅读更多 →
某智驾大牛创业

某智驾大牛创业

作者&#xff1a;钟声编辑&#xff1a;Mark出品&#xff1a;红色星际头图&#xff1a;智能驾驶图片据悉&#xff0c;国内某头部智驾公司端到端模型技术大牛Z投身创业&#xff0c;并且已经拿到融资。Z不仅是该头部公司内部最年轻的对标阿里P10级别技术负责⼈&#xff0c;更是业内…

2026/7/18 0:00:38 阅读更多 →

周新闻

月新闻