你是不是经常遇到大模型在回答问题时“自信满满却答非所问”有时候它提供的内容看起来头头是道实则漏洞百出严重影响用户体验。这时候你可能需要把一些特有的信息给到大模型可以让大模型打造一个自己的知识库比如访问公司内部数据信息你就可以定制化用途让他的回答更加专业而不再泛泛而谈这就是RAG的用途。什么是RAGRAG全称Retrieval Augmented Generation是一项可以让大模型检索并合并新信息的技术。它的核心思想是无需重新训练模型只需引入最新的信息来增强模型的知识来源。换句话说RAG 是一种将 LLM 与“搜索引擎”能力结合起来的方法让模型在生成回答时能查资料而不是单靠记忆。这种方式可以减少幻觉hallucination。例如大家还记得当 Google 首次演示其 LLM 工具“Google Bard”时LLM提供了有关詹姆斯韦伯太空望远镜的错误信息。这个错误导致谷歌的股票价值蒸发了1000 亿美元。RAG还可以动态更新知识内容比如现有的deepseek的模型的数据还是两三年前的很多时候回答问题所引用的数据还是旧的可以使用RAG为其更新专门的新数据。但RAG也是有缺陷的。它无法解决所有问题。如果 LLM 误解了上下文即使从事实正确的来源中提取它们也会产生错误信息。例如《麻省理工科技评论》给出了一个AI生成的响应示例称“美国有一位穆斯林总统巴拉克·侯赛因·奥巴马。该模型从一本学术著作中检索到这一点书名是《巴拉克·侯赛因·奥巴马美国第一位穆斯林总统LLM没有 “知道 ”或 “理解 ”标题的上下文产生了一个虚假的陈述。提高系统的复杂性和延迟。这个很好理解因为我们增加了新的组件并且还需要查询数据库会增加系统的响应时间。带来安全隐患用户可能会在prompt里加入有害指令会让大模型回答些不安全的回答。现有的RAG产品市面上现有的RAG产品有很多比如微软的M365 Copilot它主要是拥有了公司内部办公软件里的各种信息比如帮你总结会议总结邮件teams里的信息总结有哪些任务需要跟进。还比如现在的deepseekchatgpt豆包等都提供了类似联网搜索的功能。这些就是用RAG实现的。RAG的架构RAG有几个关键的流程。索引indexing这一步主要是建立索引把要引用的数据比如非结构化文本半结构化表或者结构化的数据比如知识图谱数据库 转换为LLM的embedding 即向量空间的数据存入矢量数据库中便于进行文档搜索。检索retrieval这一步就是检索用户给定一个query调用检索其来获取相关的文档。生成generationLLM可以根据查询和检索到的文档生成输出。一些模型包含额外的步骤来提高输出例如对检索到的信息进行重新排序、上下文选择和微调。RAG的框架和工具构建RAG有一些可以使用的框架LangChain这个我在上一篇文章如何使用大模型构建强大的应用介绍了这个框架提供了丰富的模块你可以使用它快速地实现一些验证或者demo比较容易上手。支持多步骤推理、工具调用、上下文记忆等复杂应用逻辑。GraphRAG是微软做的一款RAG框架这个更倾向于结构化结构化的、分层的检索增强生成RAG方法相较于使用纯文本片段的朴素语义搜索方法更具系统性和层次性但不专注于应用编排。https://microsoft.github.io/graphrag/#the-graphrag-processAn LLM-generated knowledge graph built using GPT-4 Turbo.LlamaIndex这个是构建基于大语言模型LLM智能体的领先框架内置多种索引结构向量、树、列表、关键词支持快速构建高效的文档检索系统适合大规模文档处理。能够结合你的数据、LLM 和工作流实现智能体的高效构建与运行。以查询引擎为主逻辑控制能力较弱适合快速构建单一任务型应用。 框架定位对比框架核心定位适用场景LlamaIndex数据连接层工具专注于高效索引与检索构建文档问答系统、知识库、RAG原型LangChain应用编排框架支持复杂逻辑与多工具集成多轮对话、智能代理、自动化流程GraphRAG图结构增强的RAG系统强调语义连接与推理深层语义检索、跨文档推理、企业级知识图谱总结RAG可以帮助大模型获取外部知识库来改进大语言模型可以减少使用新数据重新训练LLM的需要节约成本提高效率。虽然RAG提高了大型语言模型 LLM 的准确性不过RAG 也不是万能钥匙构建时需要在效果、速度、安全性之间权衡。随着技术演进我们有理由相信未来 RAG 将成为大模型落地的“标配”。我们该怎样系统的去转行学习大模型 很多想入行大模型的人苦于现在网上的大模型老课程老教材学也不是不学也不是基于此我用做产品的心态来打磨这份大模型教程深挖痛点并持续修改了近100余次后终于把整个AI大模型的学习门槛降到了最低您只需要听我讲跟着我做即可为了让学习的道路变得更简单这份大模型教程已经给大家整理并打包现在将这份LLM大模型资料分享出来 有需要的小伙伴可以扫描下方二维码领取↓↓↓一、大模型经典书籍免费分享AI大模型已经成为了当今科技领域的一大热点那以下这些大模型书籍就是非常不错的学习资源。二、640套大模型报告免费分享这套包含640份报告的合集涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)三、大模型系列视频教程免费分享四、2025最新大模型学习路线免费分享我们把学习路线分成L1到L4四个阶段一步步带你从入门到进阶从理论到实战。L1阶段:启航篇丨极速破界AI新时代L1阶段我们会去了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、关键技术以及大模型应用场景。L2阶段攻坚篇丨RAG开发实战工坊L2阶段是我们的AI大模型RAG应用开发工程我们会去学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现我们会去学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造我们自己的Agent智能体。L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署我们会更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调。L5阶段专题集丨特训篇 【录播课】全套的AI大模型学习资源已经整理打包有需要的小伙伴可以微信扫描下方二维码免费领取