LLM智能体的核心机制详解在了解了LLM智能体的基本概念后本篇我们将深入剖析其内部核心机制其核心机制主要包括记忆Memory、工具Tools和规划Planning三大关键组件本篇将详细解释前两大关键组件它们如何协同工作完成任务。一、记忆机制让LLM拥有“短忆”和“长忆”纯粹的LLM在交互时并不会真正记忆先前发生的事情所以为了让代理能够进行多步推理和持续对话我们需要给它配置记忆模块。记忆可以分为短期记忆和长期记忆两类短期记忆工作记忆用于暂存最近的对话或操作上下文相当于代理的临时缓冲。实现短期记忆的最直接方法是利用LLM的上下文窗口。上下文窗口指模型一次能够处理的最大文本长度通常至少几千个token最新的大模型甚至可达数十万token。我们可以在每次与LLM交互时将之前的对话历史作为上下文的一部分提供给模型。这样尽管模型本身没有自主存储记忆的能力我们通过不断在提示中附带之前的内容伪装出一种记忆效果。只要对话历史的总长度不超过模型的上下文上限这种办法就能让LLM“记得”先前的对话。此外如果对话变得很长超过窗口大小我们可以引入另一个LLM来摘要之前的内容提炼出关键要点供后续使用。这种“以文换文”的摘要方式可以大大压缩历史记录长度保留要点的同时减小上下文尺寸。长期记忆当代理需要跨越许多步骤甚至跨会话保持信息时就需要长期记忆机制。常用的技术是引入一个外部向量数据库来存储对话和交互的记录以及相关知识。具体做法是将每次对话内容或代理执行的动作记录下来并使用嵌入技术将其转换为向量表示然后存入数据库。当需要回忆过去的信息时将当前的上下文也转换为向量在数据库中进行相似度检索找到最相关的记忆片段再将这些内容取出提供给LLM参考。这一过程通常被称为“检索增强生成”Retrieval-Augmented GenerationRAG。通过RAGLLM代理可以在回答当前问题时自动带上过去累积的知识。例如一个研究助理型的LLM代理可以在新的会话里检索到上一次已查过的资料而不需要用户重复提供。具体做法是• 引入外部向量数据库存储对话和操作记录• 使用嵌入技术转换为向量表示进行相似度检索• 实现检索增强生成RAG以此帮助LLM代理自动带上过去累积的知识。此外不同类型的信息可能需要分别存储在不同形式的记忆中。心理学中对记忆有细分比如语义记忆、情景记忆、工作记忆、程序性记忆等。在LLM代理的设计中研究者也尝试将这些分类引入架构中。例如有研究将语义记忆关于世界的一般事实和工作记忆当前情境和近期事件区分开来分别存储在不同的数据库或结构中。类似地还有情景记忆具体经历的片段以及程序记忆如何做事的规则和技能等类型可以结合代理的需求进行定制化存储。通过对记忆进行分类和管理代理可以更有效地提取所需的信息比如遇到常识性问题时查询语义记忆库处理连续对话时利用工作记忆。总之记忆模块使LLM代理能够弥补遗忘问题在长任务过程中保持上下文连贯。二、工具使用赋予LLM行动力有了记忆LLM代理能够保持上下文但仅靠“思考”它仍然无法直接影响外部世界。这时就需要借助工具。工具可以理解为代理与外部环境交互的手段比如访问数据库、调用Web API、执行计算、运行代码甚至操作物理设备尽管本文聚焦于软件环境。通过工具代理能够获取LLM模型本身知识以外的信息例如实时的新闻数据或者执行一些需要操作才能完成的任务例如预订日程、调用算术程序计算结果。通常来说工具的用途主要有两大类•获取信息通过查询来获取最新的数据或知识例如在网络上搜索问题答案、从数据库提取记录等。LLM的训练语料有时过时或不包含最新事实这种“检索工具”可以提供实时更新的信息来源•采取行动通过接口执行某种操作改变环境状态例如发送邮件、安排会议、控制物联网设备或像上例中调用计算器算出结果。这使代理不仅能回答问题还能真正帮用户完成任务。要让LLM成功调用一个工具关键在于让模型输出特定格式的指令以便系统识别并执行对应的操作。换言之LLM需要产生一段“调用命令”例如符合某个API的请求格式通常是JSON结构或者函数调用语句这样代理程序才能解析模型输出知道该调用哪个工具、传入哪些参数【提示例如可以让模型输出{“action”: “Calculator.calculate”, “input”: “53”}代理识别出这是使用计算器工具进行53的计算】。为了达到这种效果我们通常需要在提示中教会LLM如何格式化它的输出这属于提示工程的一部分或者直接对模型进行专门训练。LLM调用工具的方法• 提示工程Prompt Engineering引导LLM输出特定指令• 模型微调如Toolformer模型提高调用工具稳定性。在恰当设计提示的情况下许多现有的LLM已经具备使用工具的潜力——只要告诉它输出什么格式大部分模型都能遵循。这意味着通过精心构造范例对话我们可以引导一个通用LLM去调用API或函数。这一方法的好处是无需修改模型参数缺点是对提示的依赖较强可能偶尔格式不精确或调用错误。相比之下另一种更稳定的方法是微调模型使其直接掌握调用工具的技能。例如Meta的研究团队提出了Toolformer模型它通过在大量文本中插入模拟API调用标签来训练LLM使其学会在需要时自动决定调用何种API。具体而言Toolformer会在原始训练语料中遇到适合调用工具的地方插入类似“调用工具”的标记并附上调用结果然后用这样的带标注数据对模型进行微调。训练后的模型就能够像生成普通文本一样生成带有API调用标记的输出。当可用的工具数量变多接口复杂度提高时如何管理这些工具就成为一大挑战。如果每增加一个新工具都需要开发者手工向模型描述它的API、维护提示格式并在接口变动时更新那么代理系统将变得很难扩展。为了解决这一问题Anthropic提出了一套通用标准称为模型上下文协议Model Context ProtocolMCP。MCP的思路是将各种工具服务封装在标准化的“服务器”中对外提供统一的接口描述这样任何支持MCP的LLM应用都可以方便地查询和使用这些工具。MCP架构包含三个组件•MCP服务器由具体的工具提供方运行向外界LLM应用提供其可用的操作、接口规范和相关上下文信息。例如一个MCP服务器可以封装天气查询API另一个封装GitHub仓库访问API等•MCP主机运行LLM的应用本身例如一个AI助手程序它充当管理者负责连接多个MCP服务器向其发送请求并获取工具列表或执行结果•MCP客户端主机和服务器之间的通信桥梁。主机可以通过客户端与多个服务器建立一对一连接转发LLM的请求和服务器的响应。借助MCP一个LLM代理应用在启动时可以询问各个MCP服务器“你提供哪些工具可用接口如何”服务器会返回可用工具的描述和调用方法。LLM模型在得到这些信息后就等于动态地扩展了自己的能力范围它知道当前有哪些操作可以执行。当用户提出某个请求时如果需要用到某项工具LLM代理会在内部规划中生成相应的动作请求比如调用GitHub查询最新提交记录的接口。MCP主机检测到模型想用某工具就通过客户端去请求对应的服务器执行操作将结果拿回来再提供给LLM。LLM再根据这些结果生成最终回复给用户。通过MCP添加新工具变得非常简单只要相应服务提供了MCP服务器接口任何支持MCP的代理都能立刻使用这个新工具无需额外为模型编写特定提示或集成逻辑。可见工具模块极大地拓宽了LLM代理的职能使之不仅能回答问题还能够动手执行各种操作为用户完成任务。限于篇幅原因在下篇文章中我们将继续介绍第三大关键组件规划Planning并基于这些机制分析LLM代理在实际应用中的表现探讨其能够大展身手的应用场景、展现出的优势与面临的局限以及未来可能的发展方向并举一些具体案例来说明。想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2025 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容一、学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI1. 100本大模型方向电子书2. 26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC 实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。3. 600套技术大会 PPT听行业大咖讲实战PPT 整理自 2024-2025 年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。二、求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌1. 107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自 2021-2025 年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析2. 102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑3. 97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”三、路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、关键技术以及大模型应用场景。L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。L5阶段专题集丨特训篇 【录播课】四、资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容2025 年想抓住 AI 大模型的风口别犹豫这份免费资料就是你的 “起跑线”