LLM是有 Context 概念的但这个 Context 只存在于“当前一次推理中”。LLM没有跨请求的 Context不会自己记住历史。请求开始 → 模型读取Context → 生成回答 → 请求结束 → Context消失AI Agent 项目80%的复杂度其实都在 Context 层而不是模型层。Agent其实就是在 不断重建上下文循环。构建Context→ 调用LLM→ 得到结果→ 更新Context→ 再调用LLM架构分层AI Agent 架构与 Context 机制笔记1. LLM 与 Context 的核心概念LLM 是有Context上下文概念的但这个 Context只存在于当前一次推理中。LLM不会跨请求记住历史。流程请求开始 → 模型读取 Context → 生成回答 → 请求结束 → Context 消失因此AI Agent 项目80% 的复杂度其实都在 Context 层而不是模型层。Agent 本质是在不断重建上下文循环构建 Context → 调用 LLM → 得到结果 → 更新 Context → 再调用 LLMAgent 架构分层一、Agent 基础模型层Model Layer核心大模型组件包括 - 大模型典型模型GPT-4Claude 3Gemini 1.5职责语言理解推理内容生成工具调用决策二、Prompt / Context 管理层核心上下文构建Prompt / Context 管理层的本质把世界的信息压缩成模型能理解的一段文本上下文。工作流程收集信息 → 选择信息 → 组织结构 → 生成最终输入 → 发送给 LLM什么是 ContextContext 发送给模型的一整段输入信息Context Prompt 其他信息LLM 在推理时只看到一整段文本 → 生成下一段文本因此 Context 就是整段输入文本。Context 的组成Context 不只是历史对话还可能包含Context System Prompt Conversation History User Query Retrieved Knowledge (RAG) Memory Tool Description Instructions示例System: 你是一个专业金融分析师 History: User: 帮我分析苹果公司 Assistant: 好的 User: 这个公司去年收入多少 Knowledge: Apple 2023 revenue: 383 billion USD Instruction: 如果有数据直接回答这一整块文本就是Context。Context 管理模块常见模块Prompt TemplateContext Window 管理RAG 上下文拼接Prompt 策略Context 优化策略Few-shotChain-of-ThoughtSystem PromptTool Prompt最终目标Context Prompt History Knowledge Memory Tools三、记忆层Memory LayerAgent 的长期与短期记忆系统。Memory 的三种类型Agent 系统通常有三种记忆。1. 短期记忆Short-term Memory本质当前会话的历史对话。示例User: 你好 Assistant: 你好 User: 我刚刚说什么系统会保存history [ User: 你好 Assistant: 你好 ]然后拼进 Context。特点生命周期当前会话存储内容聊天记录常见实现数组 / Redis2. 长期记忆Long-term Memory本质保存用户的长期信息。例如User profile: Name: Tom Interest: Python Job: Data Scientist特点生命周期长期存储数据库用于个性化回答3. 语义记忆Vector Memory这是 Agent 系统中最重要的一种记忆。本质把文本转换为向量并进行语义检索。流程文本 ↓ Embedding ↓ 向量数据库 ↓ 相似度检索常见向量数据库PineconeWeaviateMilvusMemory 工作流程用户输入 ↓ 读取 Memory ↓ 检索相关记忆 ↓ 加入 Context ↓ LLM 推理 ↓ 生成回答 ↓ 写入新记忆流程图User ↓ Agent ↓ Memory Retrieval ↓ Context 构建 ↓ LLM ↓ Response ↓ Memory UpdateMemory 写入策略不是所有信息都会被存储。常见策略1. 用户信息例如用户名字兴趣职业2. 重要事件例如用户完成任务用户设定目标3. 知识总结例如会话总结Memory 压缩非常重要随着对话增加历史记录会变得很长因此需要压缩。常见方法Conversation Summary示例原始20轮对话总结用户在讨论 AI Agent 架构这样可以显著节省 Token。四、工具与环境层Tools / Environment Layer这一层负责Agent 执行任务的能力。工具类型API 工具例如搜索天气金融数据软件工具例如代码执行数据分析文档处理外部系统例如CRM数据库SaaS 系统典型工具Wolfram AlphaSlackGoogle Search五、规划与推理层Planning Reasoning Layer这是 Agent 与普通 Chatbot最大区别的层。核心能力Task Decomposition任务拆解Planning规划Reflection自我反思ReAct Loop1. ReAct 推理模式ReAct Reason Act含义思考 → 行动循环结构Thought Action Observation示例Thought: 我需要查天气 Action: search_weather(Tokyo) Observation: 20°C Thought: 我可以回答用户2. Chain-of-Thought 推理逐步推理。示例问题小明有3个苹果又买2个一共有多少推理3 2 53. Tree-of-Thought复杂任务时模型会探索多个方案。示例方案A 方案B 方案C然后选择最优方案。常见研究来源Google BrainStanford University常见方法ReActPlan-and-ExecuteTree of ThoughtsGraph of Thoughts六、Agent 控制与编排层Orchestration LayerOrchestration Layer控制整个 Agent 如何运行的系统。主要组件Agent LoopTool RouterWorkflow EngineMulti-Agent Coordination典型框架LangChainAutoGPTCrewAISemantic KernelAgent 执行流程User Input ↓ Plan ↓ Tool Selection ↓ Execution ↓ Memory Update ↓ Next Step核心模块1. Agent LoopAgent 的循环执行机制思考 → 行动 → 观察 → 再思考示例Thought: 我需要天气 Action: 调用天气 API Observation: 20°C Thought: 可以回答用户2. Tool Router负责选择调用哪个工具。例如系统有多个工具search_apiweather_apidatabase_query用户问东京天气Router 会选择weather_api3. Workflow Engine负责管理复杂任务流程。示例任务写市场分析报告WorkflowStep1 搜索行业数据 Step2 分析竞争对手 Step3 生成报告4. Multi-Agent Coordination用于多 Agent 协作。示例Research Agent → 收集资料 Writer Agent → 写报告 Reviewer Agent → 修改Orchestration 负责协调。七、应用层Application Layer最终面向用户的产品形态。常见类型Chat AgentCoding AgentData AgentResearch AgentCustomer Service Agent典型产品ChatGPTDevinPerplexity AI常见 Agent 总体架构Application Layer │ Orchestration Layer │ Planning Reasoning │ Memory Layer │ Tools / Environment │ Model Layer