Agent 的本质决定了你不能只监控系统运行状态更要监控它“如何思考、如何行动、是否真正解决问题”。把结构化人工标注、自动模式发现和持续在线评估组合起来让生产 trace 成为持续优化的燃料。对正在做 Agent 产品的团队来说这不是“锦上添花”而是从 Demo 走向可持续生产的必经之路。传统软件上线后大多数团队心里是有数的用户会点哪些按钮、走哪些流程测试通常也能覆盖主要路径。可当你把 Agent 真正投到生产环境很多问题才会第一次出现。原因不复杂Agent 面对的是自然语言输入输入空间几乎无限底层 LLM 又天然具备概率性和提示词敏感性。同一个问题可能换个说法就走向不同结果同一个输入也不保证每次输出完全一致。你不知道 Agent 在生产里会做什么直到它真的在生产里运行。这也是为什么Agent 的生产监控不能照搬传统 APM 思路。你不能只看延迟、错误率和 CPU 占用还要看对话本身、决策轨迹和任务完成质量。为什么 Agent 和传统软件不一样和大量上线团队打交道后一个共识越来越清晰Agent 的可观测性难点主要来自两个方面。第一输入空间无限。传统应用的输入基本可枚举按钮、表单、API 格式都有限Agent 接收自然语言用户表达方式却是开放的。比如“我要退货”“上周买的鞋能退款吗”“收到的商品坏了怎么办”“订单#12345 退款”本质意图相同但表达完全不同。Agent 必须自行理解、抽取信息并触发正确动作。第二LLM 对细微变化不够鲁棒。提示词顺序、上下文细节、措辞风格都可能影响输出。开发环境里“看起来稳定”的链路在线上遇到边界输入时依然可能失效。你在评测里看见它会正确调工具不代表线上不会偶发选错工具。生产监控重点从系统指标转向对话质量传统 APM 更擅长结构化、确定性的系统请求链路、数据库查询、资源占用。Agent 则要求你把“输入-推理-输出”作为核心观测对象至少要抓住三类信息•完整 prompt-response 对不仅知道“请求发生了”还要知道“用户问了什么、Agent 回了什么”。•多轮上下文同一任务往往横跨多轮对话必须按会话聚合。•轨迹与中间步骤工具调用、检索结果、关键决策节点都要可追溯。对一个传统接口来说“POST /api/checkout 200 OK 342ms”几乎就够了对 Agent 来说这远远不够因为“这次回答到底好不好”往往不在状态码里而在对话细节里。规模化评估人审与自动化要组合使用Agent 输出质量经常依赖主观判断是否有帮助、是否理解用户意图、语气是否合适、检索是否相关。问题在于这类判断靠纯人工很难规模化。一个常见测算是人工每小时可有效评 50-100 条 trace。若系统日请求量约 1000全面人工审核每天可能要投入 10-20 小时。现实里很少有团队能长期承担这种成本。可落地的做法通常是“双轨并行”•标注队列Annotation Queue把高价值样本负反馈、异常高成本、特定时间窗路由给人工按统一 rubric 评审形成可回流的数据资产。•LLM 在线评估Online Evals在生产流量上自动跑评估器覆盖一致性、语气、安全、格式、主题分类等维度常见采样比例在 10%-20%。自动评估能显著扩展覆盖面但也带来额外延迟、推理成本和校准难题。更稳妥的策略是自动化筛查 周期性人工复核而不是完全依赖任一单一手段。面向生产的能力栈不是多几个图表就够从实践看Agent 可观测性平台要解决的不只是“看见数据”还要支持“从发现问题到验证修复”的完整闭环。文中总结了三类关键能力•模式发现如 Insights Agent自动聚类生产 trace识别高频用途、典型错误模式和未预期边界场景。•在线评估持续监控质量、安全、轨迹合理性并在指标下滑时告警。•仪表盘与告警同时看业务指标与技术指标支持从聚合趋势钻取到具体 trace。真正有价值的不是“系统还活着”而是“Agent 是否在正确地完成业务目标”。因此除了延迟和报错率还应重点跟踪工具调用失败率、不同工具运行占比、用户满意度、任务完成率等指标。为什么通用 APM 往往不够用不少团队会先用 Datadog / New Relic 一类工具“顶一顶”基础监控当然能做但一旦深入 Agent 质量治理短板会很快暴露主要集中在三个层面•Payload你需要长期存储和检索完整多轮对话而不只是结构化日志。•Connectivity观测数据要能无缝回流到数据集、实验和再部署流程形成闭环。•Users使用者不再只有 SRE/DevOps还包括 AI 工程师、产品经理、领域专家和数据科学家协作需求完全不同。换句话说Agent 可观测性不是传统监控工具上“加几个字段”就能解决的问题而是一套横跨研发、评估与产品决策的工作系统。仍待解决的三大挑战即便方法论逐渐成熟生产级 Agent 观测仍有三块硬骨头•评估器可靠性LLM-as-judge 持续进步但“何时信机器、何时上人审”依旧要按场景定。•规模化成本流量越大全面观测越贵采样策略与评估深度需要持续优化。•隐私与合规保留完整对话与处理敏感数据之间需要更精细的治理机制。结语Agent 的本质决定了你不能只监控系统运行状态更要监控它“如何思考、如何行动、是否真正解决问题”。把结构化人工标注、自动模式发现和持续在线评估组合起来让生产 trace 成为持续优化的燃料。对正在做 Agent 产品的团队来说这不是“锦上添花”而是从 Demo 走向可持续生产的必经之路。