驼纶史芳Agent的目标以及对应的技术方案Agent的推理目标形式化的表达:咱们首先来分析一下最开始大模型的功能即仅根据π的内部知识和问题q采样出答案ooπ(?|q)然而模型π原有的内部知识可能不足以支撑回答q问题没有训练过相关领域的数据那么就需要引入外部知识R也就是常见的RAG架构。RA 先根据q调用外部tool向量数据库得到一定的responseR再一同输入到π中进行答案的生成。有效地缓解π在问题q上自身知识不足的问题人为地注入了外部知识R此方法有效建立在π是否在R上有泛化性即π是否会使用外部知识R。R←f(q)oπ(?|q,R)那好新的问题又出现了即使π会使用R但是R是否真正能够帮助π解决q也是一个问题这个R仅依赖于问题q和事先设定好的工具f(?)也就是说在生成R时并没有考虑到是否能帮助到后续的模型π因此应该在生成R时也要依赖于π。【初始化】tool_type,tool_argsπ(?|q)【获得工具输出】Ri←f(tool_args;tool_type)【迭代生成】o|tool_type,tool_argsπ(?|q,R1,...,Ri)因此可以发现的是π不仅仅要生成答案o还需要学会工具调用来获取R以更好的执行后面的任务流程。所以Agent的目标需要的推理能力分为三类利用模型内部知识根据q生成第一步的planning。tool_type,tool_argsπ(?|q)学会如何仅根据q构建完整的planning利用模型内部知识外部知识R 根据q生成下一步的工具调用/答案 的能力 step-wiseo|tool_type,tool_argsπ(?|q,R)学会 single-step下如何根据需要的信息 选取工具学会连续调用工具理解工具间的调用关系traj-wiseoπ(?|q,R1,R2,...)学会在整体的traj维度下协调多个工具之间的使用关系对应来说局部初始化step-wise的单个工具point-wise的使用整体traj-wise的工具之间的协调调度Agent的训练方案训练目标需要和推理模型对齐。而训练目标体现在1数据集的构建方案2训练策略loss那么Agent训练方案的是数据集构建模型训练方式两个难点数据构建以上三类能力对应的数据集的构建输入输出的pair对参考公式即可数据需要可扩展/高质量因此优先在Web Brower 领域进行研究训练策略使用sft教会模型前两种能力planning生成、学会根据需要的信息选取工具使用rl教会模型最后一种能力工具间的协调调用因为此任务比较难学习需要大量的探索以及较高的泛化性要求相较于传统的single-step的数据及其sft RL的训练方式Agent的关键区别是给予了llm自主获取外界知识、与外界交互的能力。因此Agent的数据和训练目标 均服务于 如何使Agent学会更好的使用工具与外界交互从而利用外界的信息更好地完成任务