本文详细阐述了Agent应用评测体系的构建方法强调精准度量能力是建立信任的关键。文章介绍了三类评分器基于代码、基于模型、人工评分的组合使用方法并以深度研究Agent为例展示了从数据收集、意图分类到基准任务构建的完整流程。重点讲解了RACE报告质量评估和FACT事实准确性评估两大互补框架提供了从真实场景提炼任务、打造鲁棒评分体系、建立动态迭代评估等实践建议帮助团队避免盲目迭代清晰区分真实回归与随机波动。Agent应用最难的是建立信任而信任的关键正是对Agent能力的精准度量。缺乏可量化指标和系统评测体系Agent的能力就无从验证也无法判断其在真实场景中的表现。本文围绕如何搭建可落地的评测体系跳出盲目迭代的问题围绕三个部分展开1建立评测观念评测体系认知和组成部分。2业务实操评测数据集构建和分类体系。3以深度研究评测为例介绍 RACE 和 FACT 评测框架。关注“AI老马” —【获取资源】【进群交流】1评估的必要性辛苦上线后的Agent用户反馈说体验变差了团队的天都塌了。如果没有自动化的评测就无法区分真正的退化和噪声。问题分析• 在业务开发中忽视了benchmark的重要性上线前缺少严格的评测。• 被动的“自我感觉良好”而没有主动的规避问题导致出现故障越改越糟。• 盲目调试无法自动测试更改对数百种场景的影响也无法衡量改进程度。避免“盲飞”让进步看得见!Leader 灵魂拷问现在项目进度怎样了一种满意回复“目前自建Agent在核心评测集上的准确率已从50%提升至70%一次性通过率达到68%原为42%)。基于当前趋势预计下周可稳定达到75%以上。同时平均响应延迟下降15%每轮推理成本降低23%。“看得见的质量变化把主观感受变成客观指标避免盲目迭代清晰区分“真实回归”与”随机波动“以上指标都需要 Agent 评测集和自动化评测工具的支撑。Agent 执行任务会进行多轮工具调用推理“循环显而易见Agent 评估要复杂得多。2评分器评测系统评测器的定义Agent 能力评估体系中核心的判定工具或系统用于依据预设标准、任务要求对 Agent 的执行结果 / 行为轨迹进行量化打分、有效性判定最终输出 Agent 在对应任务上的能力表现结论。Agent 评估通常组合三类评分器基于代码的评分器、基于模型的评分器、以及人工评分。•基于代码的评分器字符串匹配、单元测试、静态分析。优点是快、便宜、客观、可复现缺点是脆弱对有效变体不够宽容缺乏细微判断能力。•基于模型的评分器用LLM 做评委基于评分标准打分、自然语言断言、成对比较等。优点是灵活、能处理开放式任务缺点是非确定性、比代码贵、需要和人工校准。•人工评分器领域专家评审、众包判断、抽样检查。黄金标准但贵、慢、难以规模化。要根据实际的业务Agent进行组合和裁剪。Anthropic 建议尽可能用确定性的评分器必要时加LLM 评分器人工评分器用来校准。不管是那种的评估一个评估系统组成部分有•任务是具明确输入与成功标准的测试项。•试验为任务的单次执行需多次以获稳定结果。•评分器评估性能维度记录文本完整保存试验轨迹结果需以环境真实状态为准。•评估框架统筹任务执行与评分Agent框架支撑模型协同运行评估套件则聚焦特定能力的多任务集合测评。图1评测系统组层元素。当前大规模部署的 Agent 主要有四类编码 Agent、研究 Agent、计算机操作 Agent、对话 Agent。下面以研究Agent 为代表逐步探索建立一个适合自身业务的评测系统。3深度研究 Agent 测试集准备深度研究AgentDeep Research Agent DRA定义需要智能体执行多轮网络搜索、信息收集、分析处理并生成高质量报告的复杂问题。显而易见的评估困难• 其内部推理和信息检索过程缺乏透明度最终生成的报告成为评估整体效果的主要依据。• 评估这些详尽研究报告的质量本身就是一个开放性难题因为很难为复杂的研究查询建立明确的“标准答案”或真实基准。建立评估体系评测集是第一步以 DeepReaserch Bench 的数据收集和构建过程提供思路。可先收集业务场景query确定业务的主题意图分类体系然后进行query的主题意图归类。图2评测集收集流程。3.1意图体系构建收集目标数据集DeepResearch Bench 收集了一个包含96万个原始用户查询的内部数据集这些查询来源于用户与支持网络搜索功能的LLM聊天机器人的交互记录。基于深度研究Agent的定义使用大模型如DeepSeek-V3 对用户的query数据进行过滤识别出符合深度研究要求的问题查询即query。最终筛选出4万个符合深度研究任务定义的查询构成了研究数据集。意图体系分类对深度研究的query进行主题分类采用WebOrganizer提出的主题分类体系选定了22个不同的主题领域作为分类标准。随后使用DeepSeek-V3将这4万个查询query分别归入相应的主题领域。3.2基准任务收集基于业务场景真实用户需求分布的指导首先确定了DeepResearch Bench数据集中各主题领域的目标任务数量。考虑到运行DRAS及评估其结果需要消耗大量计算资源所以将上述分布按比例压缩最终形成了包含100个任务的数据集其中包括50个中文任务和50个英文任务。这一压缩过程严格确保了基准测试保持与现实世界分布相同的主题平衡性。拔尖任务确定各主题领域的目标任务数量后研究重点转向构建既具有高度挑战性又基于真实研究需求的研究任务。这一过程专门用于测试深度研究智能体能力的上限。所有提交的任务都需经过研究团队的人工筛选以验证其质量、清晰度、复杂性以及与深度研究定义的契合程度。这一严格的审核过程最终产生了构成 DeepResearch Bench 的100个高质量基准任务。4评估方法测试数据集构建完成后需要指定评测任务的维度和标准。重点关注两个核心维度信息检索收集能力以及最终报告的质量。为评估这两个不同维度使用RACE和FACT两个相互补充的评估框架。RACE看报告整体质量FACT看报告引用与事实准确性形成完整且有连续性的评估体系。4.1, RACE 评估框架图3RACE评估框架。RACE是基于参考标准和自适应准则的动态加权评估框架专门用于评估报告生成质量。该框架采用LLM-as-a-Judge方法。其首先动态生成针对特定任务的权重和评估标准然后采用基于参考标准的评分方法将待评估报告与高质量参考报告进行对比最后计算相对分数来评估目标报告的质量从而提供更具适应性和稳健性的评估。基于领域专业知识建立了四个顶层相互独立的评估维度全面性(COMP)、洞察力/深度(DEPTH)、指令遵循(INST) 和可读性(READ)三种策略• 动态权重与自适应标准生成• 基于参考标准的评分• 总体分数计算举例评估《Agent技术报告研究》质量。RACE框架核心流程对应三种策略• 设定4个维度权重全面性35%、洞察力30%、指令遵循15%、可读性20%。• 对照参考标准给待评估Agent技术报告逐维度打分如全面性7分、洞察力8分、指令遵循10分、可读性9分满分10分。• 按权重折算总分7×35%8×30%10×15%9×20%8.05分。最后的结论是该Agent技术报告质量优良、符合参考标准。RACE框架核心是“制定贴合任务的评分规则对照参考样本打分算总评分”类比技术评审专家按评分细则、对照优质Agent技术报告给待评估报告打分。4.2, FACT 评估框架图4FACT 评估框架。FACT是事实丰富性和引用可信性评估框架专注于评估信息检索和引用准确性。聚焦报告事实丰富性与引用可信性通过验证引用有效性、计算核心指标评估报告信息检索和引用的准确性与实用性。细分维度• 陈述-URL对提取与去重处理• 支持性判断• 引用指标计算基于上述支持性判断结果研究者计算两个核心评估指标。• 引用准确性(C.Acc.)用于衡量智能体引用的精确度反映使用合适来源准确支撑陈述的能力。• 每任务平均有效引用数(E. Cit.)量化agent在每个任务中检索并呈现的有价值且可验证信息的平均数量。举例假设《Agent技术报告研究》中包含10处核心陈述每处陈述均标注对应引用URL。FACT框架评估流程• 从报告中提取10组“陈述-URL”对应对去重后确认无重复引用、无效URL最终保留9组有效“陈述-URL”对。• 逐一验证9组有效对应对判断URL来源如权威技术期刊、官方实验报告是否能准确支撑对应陈述最终确认7组为“有效支持”2组为“无效支持”URL来源非权威、无法支撑对应陈述。• 引用指标计算基于支持性判断结果计算两个核心指标。引用准确性(C.Acc.)有效支持数÷有效“陈述-URL”对数 7÷9≈77.8%说明报告引用精确度较好多数陈述能被合适来源准确支撑。每任务平均有效引用数(E. Cit.)有效支持数÷评估任务数本次任务为1个 7÷17说明报告在本次任务中检索并呈现的有价值、可验证信息数量充足。5Anthropic 评测建议评测是Agent规模化迭代的加速器轻松获取质量基准与回归影响快速判断新模型是否值得切换、优势在哪、短板在哪。评测也是产品团队、工程团队、算法团队之间的沟通利器轻松对齐Agent成功标准、边界条件和期望行为。以下是Anthropic 来自业务实践后的建议总结。•从真实场景提炼有明确判定标准的小样本任务尽早启动评估从真实失败案例、高频场景 中提取 20-50 个核心任务不求完美但必须答案可重复、专家判断一致、有清晰通过 / 失败标准小样本即可快速验证 Agent 能力延迟启动会大幅增加后续评估与迭代难度。•打造鲁棒可验证的评分体系规避评估本身的 bug一是环境稳定隔离、只评估结果不限制路径为多环节任务设置部分得分以体现能力连续性二是严格复查任务规格与评分逻辑避免因数值精度、描述模糊、随机任务导致的误判同时让评分具备防作弊能力核心是通过读转录轨迹验证评分器有效性区分 Agent 真失败与评分器误判有效解。•建立动态迭代的评估体系避免饱和度并让业务侧深度参与一方面持续监控评估饱和度淘汰 / 升级 100% 通过的评估项确保评估能捕捉 Agent 复杂任务能力、提供有效改进信号另一方面让产品、客户成功、销售等贴近产品需求与用户的人员贡献评估任务以评测驱动开发同时持续读轨迹、迭代评分器与任务库让评估套件适配 Agent 能力的持续提升以下开源框架可帮助业务快速搭建自己的评估体系Harbor、Promptfoo、Braintrust、LangSmith 和 Langfuse。AI时代未来的就业机会在哪里答案就藏在大模型的浪潮里。从ChatGPT、DeepSeek等日常工具到自然语言处理、计算机视觉、多模态等核心领域技术普惠化、应用垂直化与生态开源化正催生Prompt工程师、自然语言处理、计算机视觉工程师、大模型算法工程师、AI应用产品经理等AI岗位。掌握大模型技能就是把握高薪未来。那么普通人如何抓住大模型风口AI技术的普及对个人能力提出了新的要求在AI时代持续学习和适应新技术变得尤为重要。无论是企业还是个人都需要不断更新知识体系提升与AI协作的能力以适应不断变化的工作环境。因此这里给大家整理了一份《2026最新大模型全套学习资源》包括2026最新大模型学习路线、大模型书籍、视频教程、项目实战、最新行业报告、面试题、AI产品经理入门到精通等带你从零基础入门到精通快速掌握大模型技术由于篇幅有限有需要的小伙伴可以扫码获取1. 成长路线图学习规划要学习一门新的技术作为新手一定要先学习成长路线图方向不对努力白费。这里我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。2. 大模型经典PDF书籍书籍和学习文档资料是学习大模型过程中必不可少的我们精选了一系列深入探讨大模型技术的书籍和学习文档它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。书籍含电子版PDF3. 大模型视频教程对于很多自学或者没有基础的同学来说书籍这些纯文字类的学习教材会觉得比较晦涩难以理解因此我们提供了丰富的大模型视频教程以动态、形象的方式展示技术概念帮助你更快、更轻松地掌握核心知识。4. 大模型项目实战学以致用当你的理论知识积累到一定程度就需要通过项目实战在实际操作中检验和巩固你所学到的知识同时为你找工作和职业发展打下坚实的基础。5. 大模型行业报告行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。6. 大模型面试题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我们将提供精心整理的大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。为什么大家都在学AI大模型随着AI技术的发展企业对人才的需求从“单一技术”转向 “AI行业”双背景。企业对人才的需求从“单一技术”转向 “AI行业”双背景。金融AI、制造AI、医疗AI等跨界岗位薪资涨幅达30%-50%。同时很多人面临优化裁员近期科技巨头英特尔裁员2万人传统岗位不断缩减因此转行AI势在必行这些资料有用吗这份资料由我们和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。大模型全套学习资料已整理打包有需要的小伙伴可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】