本文详解AI Agent概念、框架与应用探讨其作为大模型进阶方向的价值。AI Agent具备自主思考和行动能力由控制端、感知端和行动端组成可克服大模型知识更新慢、幻觉等缺陷。文章介绍了单代理、多代理和人机交互三种应用场景并提供学习资源适合程序员和小白入门收藏。最近 AI 圈很火的一个话题就是 AI Agent 了AI 创投圈也在密切关注着相关创业公司的进展。很多人说大模型都没搞明白又来了个 AI Agent…… 但是别担心 Agent 目前也是在起始阶段。AI Agent 能力其实是和大模型相生的大模型的能力边界还是决定了 AI Agent 的能力边界。最近复旦大学斯坦福大学都发表了对 AI AGENT 的看法和认识。早在 1950 年代Alan Turing 就将「智能」的概念扩展到了人工实体并提出了著名的图灵测试。这些人工智能实体通常被称为 —— 代理Agent。「代理」这一概念起源于哲学描述了一种拥有欲望、信念、意图以及采取行动能力的实体。斯坦福大学的一篇名为《Generative Agents: Interactive Simulacra of Human Behavior,titled》的论文深入研究了记忆、反应和计划的 AI Agent。01什么是AI AgentAI Agent 被认为是 OpenAI 发力的下一个方向。OpenAI 联合创始人 Andrej Karpathy 曾在公开活动上说“相比模型训练方法OpenAI 内部目前更关注 Agent 领域的变化每当有新的 AI Agents 论文出来的时候内部都会很兴奋并且认真地讨论” 。在人工智能领域这一术语被赋予了一层新的含义具有自主性、反应性、积极性和社交能力特征的智能实体。AI Agent它被设计为具有独立思考和行动能力的AI程序。你只需要提供一个目标比如写一个游戏、开发一个网页他就会根据环境的反应和独白的形式生成一个任务序列开始工作。就好像是人工智能可以自我提示反馈不断发展和适应以尽可能最好的方式来实现你给出的目标。02NLP 到 AGI 的发展路线NLP 到 AGI 的发展路线分为五级语料库、互联网、感知、具身和社会属性那么目前的大型语言模型已经来到了第二级具有互联网规模的文本输入和输出。在这个基础上如果赋予 LLM-based Agents 感知空间和行动空间它们将达到第三、第四级。进一步地多个代理通过互动、合作解决更复杂的任务或者反映出现实世界的社会行为则有潜力来到第五级 —— 代理社会。03为什么需要AI Agent为什么大语言模型LLM刚流行不久就需要 AI Agent 呢LLM 与 LangChain 等工具相结合释放了内容生成、编码和分析方面的多种可能性目前在 ChatGPT 插件中比较有代表性的插件就是 code interpreter。在这方面的应用上 Agent 的概念应用发挥着举足轻重的作用。这里可以将 Agent 视为人工智能大脑它使用 LLM 进行推理、计划和采取行动。语言模型 (LLM) 仅限于它们所训练的知识并且这些知识很快就会过时。每天用最新信息重新训练这么大的模型是不可行的。LLM 的一些缺点会产生幻觉结果并不总是真实的对时事的了解有限或一无所知很难应对复杂的计算这就是 AI Agent 的用武之地它可以利用外部工具来克服这些限制。这里的工具是什么呢工具就是代理用它来完成特定任务的一个插件、一个集成 API、一个代码库等等。例如Google搜索获取最新信息Python REPL执行代码Wolfram进行复杂的计算外部API获取特定信息而 LangChain 则是提供一种通用的框架通过大语言模型的指令来轻松地实现这些工具的调用。AI Agent 的诞生就是为了处理各种复杂任务的就复杂任务的处理流程而言 AI Agent 主要分为两大类行动类、规划执行类。04智能代理的框架LLM-based Agent 的概念框架包含三个组成部分控制端Brain、感知端Perception和行动端Action下面将分别介绍。1控制端Brain是智能代理的核心。它不仅可以存储记忆和知识还承担着信息处理、决策等不可或缺的功能。它可以呈现推理和计划的过程并很好地应对未知任务反映出智能代理的泛化性和迁移性。控制端作为智能代理最核心的组成成分作者们从五个方面展开介绍其能力自然语言交互语言是沟通的媒介其中包含着丰富的信息。得益于 LLMs 强大的自然语言生成和理解能力智能代理能够通过自然语言与外界进行多轮交互进而实现目标。具体而言可以分为两个方面高质量文本生成大量评估实验表明LLMs 能够生成流畅、多样、新颖、可控的文本。尽管在个别语言上表现欠佳但整体上具备良好的多语言能力。言外之意的理解除了直观表现出的内容语言背后可能还传递了说话者的意图、偏好等信息。言外之意有助于代理更高效地沟通与合作大模型已经展现出了这方面的潜力。知识基于大批量语料训练的 LLMs拥有了存储海量知识Knowledge的能力。除了语言知识以外常识知识和专业技能知识都是 LLM-based Agents 的重要组成部分。虽然 LLMs 其本身仍然存在知识过期、幻觉等问题现有的一些研究通过知识编辑或调用外部知识库等方法可以在一定程度上得到缓解。记忆在本文框架中记忆模块Memory储存了代理过往的观察、思考和行动序列。通过特定的记忆机制代理可以有效地反思并应用先前的策略使其借鉴过去的经验来适应陌生的环境。短期记忆我认为所有的上下文学习参见提示工程都是利用模型的短期记忆来学习。长期记忆这为代理提供了长时间保留和回忆无限信息的能力通常是通过利用外部向量存储和快速检索。通常用于提升记忆能力的方法有三种扩展 Backbone 架构的长度限制针对 Transformers 固有的序列长度限制问题进行改进。总结记忆Summarizing对记忆进行摘要总结增强代理从记忆中提取关键细节的能力。压缩记忆Compressing通过使用向量或适当的数据结构对记忆进行压缩可以提高记忆检索效率。此外记忆的检索方法也很重要只有检索到合适的内容代理才能够访问到最相关和准确的信息。推理 规划推理能力Reasoning对于智能代理进行决策、分析等复杂任务而言至关重要。具体到 LLMs 上就是以 思维链Chain-of-ThoughtCoT 为代表的一系列提示方法。而规划Planning则是面对大型挑战时常用的策略。它帮助代理组织思维、设定目标并确定实现这些目标的步骤。在具体实现中规划可以包含两个步骤计划制定Plan Formulation代理将复杂任务分解为更易于管理的子任务。例如一次性分解再按顺序执行、逐步规划并执行、多路规划并选取最优路径等。在一些需要专业知识的场景中代理可与特定领域的 Planner 模块集成提升能力。计划反思Plan Reflection在制定计划后可以进行反思并评估其优劣。这种反思一般来自三个方面借助内部反馈机制与人类互动获得反馈从环境中获得反馈。迁移性 泛化性拥有世界知识的 LLMs 赋予智能代理具备强大的迁移与泛化能力。一个好的代理不是静态的知识库还应具备动态的学习能力对未知任务的泛化随着模型规模与训练数据的增大LLMs 在解决未知任务上涌现出了惊人的能力。通过指令微调的大模型在 zero-shot 测试中表现良好在许多任务上都取得了不亚于专家模型的成绩。情景学习In-context Learning大模型不仅能够从上下文的少量示例中进行类比学习这种能力还可以扩展到文本以外的多模态场景为代理在现实世界中的应用提供了更多可能性。持续学习Continual Learning持续学习的主要挑战是灾难性遗忘即当模型学习新任务时容易丢失过往任务中的知识。专有领域的智能代理应当尽量避免丢失通用领域的知识。2感知端Perception多模态感知能加深代理对工作环境的理解显著提升了其通用性。文本输入作为 LLMs 最基础的能力这里不再赘述。视觉输入LLMs 本身并不具备视觉的感知能力只能理解离散的文本内容。而视觉输入通常包含有关世界的大量信息包括对象的属性空间关系场景布局等等。常见的方法有将视觉输入转为对应的文本描述Image Captioning可以被 LLMs 直接理解并且可解释性高。对视觉信息进行编码表示以视觉基础模型 LLMs 的范式来构成感知模块通过对齐操作来让模型理解不同模态的内容可以端到端的方式进行训练。听觉输入听觉也是人类感知中的重要组成部分。由于 LLMs 有着优秀的工具调用能力一个直观的想法就是代理可以将 LLMs 作为控制枢纽通过级联的方式调用现有的工具集或者专家模型感知音频信息。此外音频也可以通过频谱图Spectrogram的方式进行直观表示。频谱图可以作为平面图像来展示 2D 信息因此一些视觉的处理方法可以迁移到语音领域。其他输入现实世界中的信息远不止文本、视觉和听觉。作者们希望在未来智能代理能配备更丰富的感知模块例如触觉、嗅觉等器官用于获取目标物体更加丰富的属性。同时代理也能对周围环境的温度、湿度和明暗程度有清楚的感受采取更 Environment-aware 的行动。此外还可以为代理引入对更广阔的整体环境的感知采用激光雷达、GPS、惯性测量单元等成熟的感知模块。3行动端Action在大脑做出分析、决策后代理还需要做出行动以适应或改变环境文本输出作为 LLMs 最基础的能力这里不再赘述。工具使用尽管 LLMs 拥有出色的知识储备和专业能力但在面对具体问题时也可能会出现鲁棒性问题、幻觉等一系列挑战。与此同时工具作为使用者能力的扩展可以在专业性、事实性、可解释性等方面提供帮助。例如可以通过使用计算器来计算数学问题、使用搜索引擎来搜寻实时信息。另外工具也可以扩展智能代理的行动空间。例如通过调用语音生成、图像生成等专家模型来获得多模态的行动方式。因此如何让代理成为优秀的工具使用者即学会如何有效地利用工具是非常重要且有前景的方向。目前主要的工具学习方法包括从演示中学习和从反馈中学习。此外也可以通过元学习、课程学习等方式来让代理程序在使用各种工具方面具备泛化能力。更进一步智能代理还可以进一步学习如何「自给自足」地制造工具从而提高其自主性和独立性。具身行动具身Embodyment是指代理与环境交互过程中理解、改造环境并更新自身状态的能力。具身行动Embodied Action被视为虚拟智能与物理现实的互通桥梁。传统的基于强化学习的 Agent 在样本效率、泛化性和复杂问题推理等方面存在局限性而 LLM-based Agents 通过引入大模型丰富的内在知识使得 Embodied Agent 能够像人类一样主动感知、影响物理环境。根据代理在任务中的自主程度或者说 Action 的复杂程度可以有以下的原子 ActionObservation 可以帮助智能代理在环境中定位自身位置、感知对象物品和获取其他环境信息Manipulation 则是完成一些具体的抓取、推动等操作任务Navigation 要求智能代理根据任务目标变换自身位置并根据环境信息更新自身状态通过组合这些原子行动代理可以完成更为复杂的任务。例如「厨房的西瓜比碗大吗」这类具身的 QA 任务。为了解决这个问题代理需要导航到厨房并在观察二者的大小后得出答案。05智能代理的应用场景LLM-based Agent 的三种应用范式单代理、多代理、人机交互。2单代理场景可以接受人类自然语言命令执行日常任务的智能代理目前备受用户青睐具有很高的现实使用价值。作者们首先在单智能代理的应用场景中阐述了其多样化的应用场景与对应能力。在论文中单智能代理的应用被划分为如下三个层次单代理应用场景的三个层次任务导向、创新导向、生命周期导向。在任务导向的部署中代理帮助人类用户处理日常基本任务。它们需要具备基本的指令理解、任务分解、与环境交互的能力。具体来说根据现有的任务类型代理的实际应用又可以分为模拟网络环境与模拟生活场景。在创新导向的部署中代理能够在前沿科学领域展现出自主探究的潜力。虽然来自专业领域的固有复杂性和训练数据的缺乏给智能代理的构建带来了阻碍但目前已经有许多工作在化学、材料、计算机等领域取得了进展。在生命周期导向的部署中代理具备在一个开放世界中不断探索、学习和使用新技能并长久生存的能力。在本节中作者们以《我的世界》游戏为例展开介绍。由于游戏中的生存挑战可以被认为是现实世界的一个缩影已经有许多研究者将其作为开发和测试代理综合能力的独特平台。2多代理场景多代理应用场景的两种交互形式合作型互动、对抗型互动。合作型互动作为实际应用中部署最为广泛的类型合作型的代理系统可以有效提高任务效率、共同改进决策。具体来说根据合作形式的不同作者们又将合作型互动细分为无序合作与有序合作。当所有代理自由地表达自己的观点、看法以一种没有顺序的方式进行合作时称为无序合作。当所有代理遵循一定的规则例如以流水线的形式逐一发表自己的观点时整个合作过程井然有序称为有序合作。对抗型互动智能代理以一种针锋相对tit for tat的方式进行互动。通过竞争、谈判、辩论的形式代理抛弃原先可能错误的信念对自己的行为或者推理过程进行有意义的反思最终带来整个系统响应质量的提升。3人机交互场景人机交互场景的的两种模式Instructor-Executor 模式 vs. Equal Partnership 模式。Instructor-Executor 模式人类作为指导者给出指令、反馈意见而代理作为执行者依据指示逐- 步调整、优化。这种模式在教育、医疗、商业等领域得到了广泛的应用。Equal Partnership 模式有研究观察到代理能够在与人类的交流中表现出共情能力或是以平等的身份参与到任务执行中。智能代理展现出在日常生活中的应用潜力有望在未来融入人类社会。AI Agent 一览表06开放性问题讨论1.智能代理与大语言模型的研究该如何互相促进、共同发展大模型在语言理解、决策制定以及泛化能力等方面展现出强大的潜力成为代理构建过程中的关键角色而代理的进展也为大模型提出了更高的要求。2.LLM-based Agents 会带来哪些挑战与隐忧智能代理能否真正落地需要经过严谨的安全性评估避免对真实世界带来危害。作者总结了更多潜在威胁例如非法滥用、失业风险、对人类福祉造成影响等等。3.代理数量的提升scaling up会带来哪些机遇和挑战在模拟社会中提升个体数量可以显著提升模拟的可信度与真实性。然而随着代理数量的上升通信与消息传播问题会变得相当复杂信息的失真、误解或者幻觉现象都会显著降低整个模拟系统的效率。4.网络上关于 LLM-based Agent 是否是通向 AGI 的合适道路的争论有研究者认为以 GPT-4 为代表的大模型已经在足够的语料上进行了训练在此基础上构建的代理有潜力成为打开 AGI 之门的钥匙。但也有其他研究者认为自回归语言建模Auto-regressive Language Modeling并不能显现出真正的智能因为它们只是作出响应。一个更完备的建模方式例如世界模型World Model才能通向 AGI。5.群体智能的演化历程。群体智能是一种集结众人的意见进而转化为决策的过程然而一味通过增加代理的数量是否会产生真正的「智能」此外如何协调单个代理让智能代理社会克服「团体迷思」和个人认知偏差6.代理即服务Agent as a ServiceAaaS由于 LLM-based Agents 比大模型本身更加复杂中小型企业或个人更加难在本地构建因此云厂商可以考虑以服务的形式来将智能代理落地即 Agent-as-a-Service。就像其他的云服务一样AaaS 有潜力为用户提供高灵活性和按需的自助服务。AI大模型从0到精通全套学习大礼包我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。只要你是真心想学AI大模型我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来我也真心希望帮助大家学好这门技术如果日后有什么学习上的问题欢迎找我交流有技术上面的问题我是很愿意去帮助大家的如果你也想通过学大模型技术去帮助就业和转行可以扫描下方链接大模型重磅福利入门进阶全套104G学习资源包免费分享01.从入门到精通的全套视频教程包含提示词工程、RAG、Agent等技术点02.AI大模型学习路线图还有视频解说全过程AI大模型学习路线03.学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的04.大模型面试题目详解05.这些资料真的有用吗?这份资料由我和鲁为民博士共同整理鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。所有的视频由智泊AI老师录制且资料与智泊AI共享相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念通过动态追踪大模型开发、数据标注伦理等前沿技术趋势构建起前沿课程智能实训精准就业的高效培养体系。课堂上不光教理论还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界。业务赋能 突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】