最近参与了大量Agent开发于是想说……在过去一段时间我们高密度地参与和观察了数十个agent的实践案例。从效果来说智能体项目失败比例远远高于传统软件项目。大部分智能体项目无法落地或最终失败的主要原因之一是在整个工作思路没有跳出传统软件开发的局限。因此我们想分享一些自己的经验和思考。关于如何打造一个智能体这个话题虽然过去了8个月在AI领域已经是很久的一段时间了但我们仍然非常推荐这篇文章。Building Effective AI AgentsAnthropic这篇文章清晰地定义了agent和workflow的概念区别并且以非常简明扼要的图文解释了围绕LLM来构建agent的多种流程。更重要的是它隐含了一个被很多读者都忽视的预言性概念agent的业务架构的复杂度应当是远远低于传统软件的。我们很早就察觉到了这一点并在打造各种agent的时候严格地贯彻了这个思想。很多发现也都是在这个基础上产生。在分享这些发现之前必须提及的一点我们的认知局限在我们对agent的特有品位和偏好上。我们是专业领域非软件的专家因此并不沉迷于打造类似manus这样的通用agent或者某些功能强大且广泛的agent。我们喜欢的是为某一个特定任务比如写一篇不需要修改也真正达到发表水平的期刊论文或者能够针对一个体检报告给出专家级别的诊断或者把一段多人复杂嘈杂的对话总结成可以提交法庭的卷宗报告等等打造一个真正可用的agent。然后一边喝茶一边看着它以可信的交付质量和极低的失败率稳定批量地完成任务。换句话说我们不太喜欢去造那种万能料理机相反我们喜欢打造能做出香喷喷米饭的电饭煲。当设定了这样的目标对于agent开发工作的重心认知就会发生变化。我们会发现虽然AI已经深入了我们的生活但它们在涉及工作、或者某个专业的特定任务上的表现几乎都不能让人满意。即使AI的能力达到了博士、或者是专家水平我们也没有办法想象它可以未经训练地直接进入真实的工作立刻就能胜任。那么“胜任工作”这件事如何评估呢软件开发工程师们是不擅长也没有能力独立去完成这个评估的往往拿到需求就开始按照需求、产品、设计、前后端等环节进行开发了。因此我们看到了大量的专用agent要么只能进行看似有模有样的对话要么就是在处理最终任务时表现不佳业务人员最终还是自己亲自上阵完成工作交付。最后这些agent除了在面对公关关节时演示一下大部分时间都束之高阁无人使用。软件开发和agent开发两者的本质不同在于软件开发中驱动软件进行工作的核心引擎是硬编码硬编码的能力边界是确定的只要符合逻辑的需求硬编码都能够实现。所以核心工作是产品需求确认在确认后在成本合理的情况下开发者通过硬编码就有100%的概率可实现。但在agent开发中驱动agent进行工作的核心是LLMLLM的能力边界是模糊的本质是概率预测器就像人一样。因此对于一个由客户提出的agent需求即使有充分的资源和成本但也不一定能够被开发实现。因为不同于确定性的代码开发者无法百分百地控制LLM。所以在agent开发中是不能采用“需求提出、需求确认、原型设计、交互设计、前后端开发、测试上线”这种以确定性作为核心思想的传统软件流程的。那么假如你想为你工作中的某个任务打造一个智能体让它替你工作你应该怎么办呢在你把需求交给开发团队之前我推荐你先做一个“智能体能力基准测试”。智能体能力基准测试是什么简单来说就是在传统软件开发流程中把需求和提出和需求确认环节改造成一个“智能体能力基准测试”的流程环节。只有完成了这个流程环节才可以进入到软件开发的标准流程环节中。而这个环节的主要目的就是校准和判断“大模型是否能按照某个标准完成需求”。需要注意的是并不是所有的需求都可以被大模型完成而不能完成的就不应当到软件开发流程中而是修改需求以适应大模型的能力或者暂时搁置这个计划以等待大模型的能力升级。简单来说智能体开发的过程是一个求解“业务需求”和“大模型能力”之间最大公约数的过程。而这个过程就是“智能体能力基准测试”。但在很多失败的智能体开发例子中往往都是尚未完成“智能体能力基准测试”就匆忙开始软件开发的流程最后发现智能体根本无法满足用户需求也无法胜任实际业务整个工作无论是甲方还是乙方都产生了巨大的浪费。我们的“智能体能力基准测试”是由以下三个环节构成的一基准任务要求提出。在这个环节里agent的用户应当提出明确的任务需求该任务需要详细地描述输入和输出并给出至少10个以上的输入示例。举个例子某个程序员希望AI帮他完成周报撰写工作。那么在你写任何代码之前你要先明确“写周报”这个任务的的输入和输出。输入可以是你每周的所有提交代码。而输出则是多份你对于质量都满意的周报示例。细节包括具体格式、专业术语、是否涉及其他同事的人名、具体字数规模内容板块等等。而这种示例需要至少10个以上以确保任务适应的广泛性。二基准样例确认。这个环节是不断调试大模型或智能体能力使之能够胜任用户的任务并形成未来评估使用的基准。调试的方法包括但不限于提示词工程、换模型对比、增加agentic流程、多种RAG、SFT等等。这个调试环节没有SOP更多依赖的是具体执行工作的这个算法工程师的个人经验和能力某种意义上的“炼丹”。调试过程中工程师会根据输入示例多次生成输出结果提交给任务需求方确认和讨论再回炉重炼直到双方对于输出结果均满意为止。达成满意的标准可以从这六个方面进行分解评估可信性有无幻觉准确性是否充分理解和反映了用户的意图全面性是否涵盖了需求答案的所有范围专业性是否使用了专业术语等规范性是否使用了规定要求的标准格式或体例响应速度第一个token输出的反应时间假如多轮之后仍然无法产生令所有人满意的基准测试样例应当放弃这个智能体方向。假如都对该样例满意则将把这个样例作为基准样例使用。以程序员写周报任务为例。在这个环节里你需要选一周代码交给大模型写一段相对精准的提示词告诉它要如何如何写周报然后看一下LLM写出来的质量如何。如果质量满足你的标准可以用以上的六个方面来评估那么这个炼丹工作就顺利地完成了。但现实中往往并不那么简单。很快你会发现它没有办法很好地控制格式或者内容。你需要不断地添加提示词。或者你会发现他没有办法把协作者的名字引用正确你需要把协作者名称列表这些信息也添加到提示词里。终于你觉得LLM写出的周报终于像点样子了。这个流程完成了你获得了一份可以参考的基准样例。三智能体能力测试。这个环节的目的通过规模化测试以确定智能体的能力是否稳定且可规模化。该环节的具体操作是由用户提供约更大规模的50100个的输入示例然后调用在环节二调试完成的智能体产出输出示例。并把这些输出示例交给专家组进行盲审。盲审的方式是对比这些输出示例和测试样例在“可信性、准确性、全面性”等方面的偏差度并给这些输出示例进行偏差度评分一般会设置为三档与基准样例有明显偏差与基准样例的偏差可接受与基准样例无偏差。当接受度超过95%时即可认为该智能体具有了稳定的符合用户需求的能力才可以进入到智能体的软件开发流程假如不通过则需要继续优化直到通过为止或者放弃这个智能体方向。以程序员写周报任务为例。你在第二个环节的提示词工程已经可以输出你想要的周报了。于是你调出了过去10周的代码用刚才设计出的提示词工程给到LLM。很快你会发现结果并不是那么可控在10周的输出中你会发现有几周的周报写的有问题。有些无法很好地控制结果有些无关的内容也出现了。于是你决定把更多的信息加入提示词但很快你发现提示词太长模型的注意力无法聚焦了。然后你开始尝试用RAG来引用准确的外部信息以控制提示词的长度。然后你发现LLM无法稳定地控制段落了于是你决定把周报拆成三段每段分别执行一次然后再做拼合。你甚至会考虑要不要SFT一个小模型让它专门来帮你解决内部术语引用正确的问题。但不管怎样你终于让这个智能体的输出稳定了下来通过了你作为个人专家的盲测。那么假如你想把这个功能推广到全公司呢这个智能体的能力能否经受住全公司的几千名程序员的实测以上是智能体开发有别于传统软件开发的特有流程。在以上环节未能完成之前我们强烈建议不要多写任何一行软件工程侧的代码。以上写周报agent的例子是我们内部的一个真实案例。但现实中的案例比这个复杂得多这也让我们重新对人类“工作”这件事本身的哲学意义生出了很多敬畏。虽然智能体能力测试这个方法论并不复杂。但在现实推动中还是有着巨大的摩擦力。这个摩擦力并不完全来自于理念和思想更多还是来自于人才技能构成和AI时代需求的结构性差异。一组生产力和生产关系之间的矛盾。我们会看到要想把LLM调教成可以高质量地完成一个任务需要对任务本身、LLM的能力边界、以及提升LLM能力的技术体系都非常熟悉。而这个工作本身并没有唾手可得的人才供给。我们很难用过去的软件工程分工角色来定义到底是需要谁来负责智能体能力基准测试工作。这各环节需要的技能包括了业务理解抽象和相当一部分程度代码工作。在现实中我们经常遇到的是产品经理认为这个工作应该程序员完成而程序员则认为这是业务上的问题它只负责实现。在不同角色的拉扯之间一个个失败的agent项目就诞生了。所以在agent开发时代我们又需要怎样的人才呢这话题可以另外再去讨论和思考了。总结工作是任务的集合。而任务本身则定义了工作。相比抽象的工作我们更重视每一个具体的任务的质量。帮助AI把一个任务做得更好对我们而言是非常有吸引力的一件事。所以这个阶段我们更愿意采纳“一个任务一个智能体”的模式。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】