⚡⚡⚡ 新年新文⚡⚡⚡文章目录前言1 什么是RAG2 RAG的实现原理3 RAG应用案例阿里云AI助理4 实践案例4.1 搭建一个知识问答机器人4.2 10分钟为网站增加AI助手4.3 思考问题5 持续改进RAG应用5.1 评测优先建立持续优化的基础5.2 建立评测标准6 如何归因问题7 如何改善RAG效果7.1 提升索引准确性7.2 提升意图识别准确率7.3 增加信息提取途径7.4 更换排序模型或Embedding模型7.5 更换基座模型前言你报名参与了导游志愿者活动但对景点并不熟悉的你很难给出令游客满意的景点介绍。你意识到可以通过查询资料来帮助你完成导游工作这时的你不再扮演知识的输出者,而是知识的总结者。同样地给大模型配备知识库也可以让它参考查询到的信息回答原本无法回答的问题。这种结合了信息检索与文本生成的方法就是我们本节课程要介绍的检索增强生成RAGRetrieval Augmented Generation方法。1 什么是RAG我们按照前面导游的例子来引出RAG做了哪些事情。你把当导游时无法给游客提供专业、全面信息的困惑告诉了你的主管于是主管给了你一本志愿者手册。游客询问最近的全聚德烤鸭店在哪里你拿出了志愿者手册翻到了全聚德烤鸭店的位置然后告诉了游客具体的走法。用系统资料导游你又遇到了一个游客游客眼睛不太好他想知道如何前往银锭桥此时你也犯难了志愿者手册并没有该细节内容但是此时游客手里有一张导览图你接过地图经过简单的分析按照地图指出应该如何前往银锭桥。用系统资料和用户资料结合来导游假设我们是开发大模型导游助理的技术团队我们把导游助理比作志愿者。在第一种情况下志愿者手册就是我们在开发系统的时候就配置好的知识库因此导游助理可以从系统默认的知识库中获取烤鸭店的地址然后生成导航路径给游客。在第二种情况中假设我们的系统支持用户上传个性化资料来更好地满足个性化业务需要。换句话说系统支持用户添加垂直领域知识构建私域知识库。那么当游客向志愿者提供一份个性化导航资料时系统可以结合游客的**垂直领域知识与系统预置的知识** 共同为游客提供服务。第一种方案的知识库可以理解是公司统一配置的知识库第二种方案中每个团队或者用户还可以根据自己的需要来增加私域定制化知识库。显然第二种系统更灵活不需要复杂的操作就能补充了业务知识。但总体来看这两个系统都是通过知识库来增强导游助理的能力减少幻觉回答的情况即导游助理不是编造一个像模像样的地址而是按照已有知识来回答。这就是我们即将介绍的检索增强生成Retrieval Augmented Generation。检索增强生成包括三个步骤建立索引、检索、生成。如果说大模型导游助理是一位志愿者那么我们给志愿者们准备志愿者手册的过程就是建立知识库索引志愿者查看资料就是系统在检索知识库志愿者基于检索到的资料充分思考并回答用户的问题就是生成答案。2 RAG的实现原理那么RAG是怎样将信息检索与文本生成结合起来的呢请看下图大模型RAG基本工作流如图所示RAG主要由两个部分构成建立索引首先要清洗和提取原始数据将 PDF、Docx等不同格式的文件解析为纯文本数据然后将文本数据分割成更小的片段chunk最后将这些片段经过嵌入模型转换成向量数据此过程叫做embedding并将原始语料块和嵌入向量以键值对形式存储到向量数据库中以便进行后续快速且频繁的搜索。这就是建立索引的过程。检索生成系统会获取到用户输入随后计算出用户的问题与向量数据库中的文档块之间的相似度选择相似度最高的K个文档块K值可以自己设置作为回答当前问题的知识。知识与问题会合并到提示词模板中提交给大模型大模型给出回复。这就是检索生成的过程。提示词模板类似于请阅读{知识文档块}请问{用户的问题}3 RAG应用案例阿里云AI助理你在使用阿里云产品的时候可能会遇到问题于是你去咨询了通义千问可是通义千问对于阿里云产品的细节问题可能并不了解。为了帮助用户更方便地解决上云用云过程中遇到的问题阿里云推出了阿里云AI助理它背后的基本框架就是基于通义千问大模型的RAG应用使用的知识库是阿里云各产品的使用文档。它可以解答用户上云用云的问题包括提供阿里云产品介绍、生成云产品组合方案、制定业务迁移方案、查询和领用云上权益、提供购买指引。比如向阿里云AI助理提问“怎样使用Python SDK往OSS上传文件”阿里云AI助理会提供答案并在回答的最后附上它参考的文档链接供用户进行进一步的校验。类似的应用场景在企业中非常常见比如企业官网客服在企业官网上部署智能客服自动回答访客关于产品功能、价格、使用方法等问题内部知识库助手帮助员工快速检索公司内部文档、规章制度、技术文档等电商导购助手根据商品说明书、用户评价等信息为客户提供个性化的选购建议售后支持系统基于产品手册和历史工单快速响应客户的售后咨询4 实践案例4.1 搭建一个知识问答机器人使用阿里云百炼平台快速搭建一个具备私有知识检索能力的RAG应用并通过钉钉机器人进行交互测试如何创建和配置知识库如何将文档上传并进行向量化处理如何创建基于知识库的大模型应用如何将应用集成到钉钉机器人中练习网址https://developer.aliyun.com/adc/scenario/exp/e54e49aac176485cb0446e53c454c7a44.2 10分钟为网站增加AI助手阿里云提供了一个更加完整的解决方案教程演示如何从零开始在10分钟内为企业网站添加一个基于RAG的AI助手。这个教程涵盖了从创建大模型应用、配置知识库、到网页集成的完整流程。创建大模型问答应用通过阿里云百炼创建应用并获取API凭证创建AI助手使用AppFlow配置AI助手的外观和交互方式网页集成通过简单的代码片段将AI助手嵌入到网站中配置私有知识库上传企业专属文档让AI助手回答更准确练习网址https://www.aliyun.com/solution/tech-solution/add-an-ai-assistant-to-your-website4.3 思考问题学完基础搭建之后你可以想一想用什么指标衡量回答质量如果以后你修改了知识库或提示词怎样才能知道有没有变好文档该怎么切怎么优化不同切法对检索和回答效果有什么影响如果业务里有多套知识源怎样在一个应用里整合起来当你需要在业务中使用AI时建议你从小场景试点做起收集反馈、调优知识库与提示词并请业务专家参与评测试点跑顺后再逐步扩展。5 持续改进RAG应用建立一套考核-诊断-提升的体系优化系统5.1 评测优先建立持续优化的基础为了评估志愿者景区主管可能会找几个真实游客的问题来测试志愿者反应快不快答案准不准有没有听懂游客想问什么 RAG应用的评测也是同样的道理要用真实业务场景的问题来测试系统表现。作为业务领域专家你在这个体系中扮演景区主管的角色最了解用户会问什么、应该怎么答。你需要做四件事补充手册发现知识库内容不全就补充丰富考题把常问但答不好的问题加入测试集指明方向告诉技术团队优化重点调整话术优化提示词让回答更符合业务风格。技术团队负责系统改造你负责把握业务方向两者配合才能持续提升。有业务领域专家参与评测的RAG持续优化体系5.2 建立评测标准景区主管评估志愿者会从三个层次考察找资料准不准、讲解好不好、游客满不满意。RAG评测也遵循这个逻辑——检索模块、生成模块、端到端效果三层递进。第一层评价找资料的质量检索模块你翻开手册找到10条关于烤鸭店的信息其中9条是位置路线1条是烹饪方法——说明你找得准准确率高。但手册里有8家店你只找到5家——说明你找得不全召回率低。对应RAG的评测指标准确率Precision检索到的文档有多少是真正相关的召回率Recall相关文档有多少被检索到了F1值准确率和召回率的平衡指标业务提示系统答非所问→准确率低回答不够全面→召回率低。第二层评价讲解的质量生成模块找到资料后你需要理解并讲解给游客。评价重点相关性讲解是否切题真实性是否按资料讲没有编造完整性信息是否充分流畅性表达是否自然业务提示一本正经地胡说八道→真实性问题表达生硬→流畅性问题。第三层评价整体效果端到端最终看游客反馈用户满意度是否给好评问题解决率问题是否真的解决了响应时间回答够不够快关键提示端到端评测最接近业务场景建议优先关注。评测实施建议业界有成熟的评测工具如Ragas框架可以帮你快速建立指标体系。同时你也可以根据业务特点定制专属指标如金融的合规性、客服的友好度。在关键场景和新场景中采用人工评审常规场景和已经有评测集沉淀的场景可以用自动化批量测试。建立了科学的评测标准你就能精准定位问题为优化改进指明方向。6 如何归因问题当游客对你的导游服务不满意时你需要找到问题出在哪里。是你没听懂游客的问题还是手册里缺少相关信息还是你找到了信息但理解错了分析RAG应用的问题也是同样的思路。我们建议按照以下六步归因法从回答向知识库逐步排查RAG问题归因分析路径六步法来自实际评测经验帮你像剥洋葱一样一层层找到问题根源。7 如何改善RAG效果7.1 提升索引准确性索引阶段的质量直接影响后续检索效果以下是几种常见的优化方法优化文本解析过程在构建知识库的时候我们首先需要正确的从文档中提取有效语料。因此优化文本解析的过程往往对提升RAG的性能有很大帮助。例如从网页中提取有效信息时我们需要判断哪些部分应该被去掉比如页眉页脚标签哪些部分应该被保留比如属于网页内容的表格标签。优化chunk切分模式Chunk就是数据或信息的一个小片段或者区块。当你在处理大量的文本、数据或知识时如果你一次性全部交给大模型来阅读和处理效率是非常低的。所以我们把它们切分成更小、更易管理的部分这些部分就是chunk。优化chunk切分模式就能加速信息检索、提升回答质量和生成效率。具体方法有很多利用领域知识针对特定领域的文档利用领域专有知识进行更精准的切分。例如在法律文档中识别段落编号、条款作为切分依据。基于固定大小切分比如默认采用128个词或512个词切分为一个chunk可以快速实现文本分块。缺点是忽略了语义和上下文完整性。上下文感知在切分时考虑前后文关系避免信息断裂。可以通过保持特定句对或短语相邻或使用更复杂的算法识别并保留语义完整性。最简单的做法是切分时保留前一句和后一句话。你也可以使用自然语言处理技术识别语义单元如通过句子相似度计算、主题模型如LDA或BERT嵌入聚类来切分文本确保每个chunk内部语义连贯减少跨chunk信息依赖。通义实验室提供了一种文本切割模型输入长文本即可得到切割好的文本块详情可参考中文文本分割模型。句子滑动窗口检索这个策略是通过设置window_size窗口大小来调整提取句子的数量当用户的问题匹配到一个chunk语料块时按照窗口大小提取目标语料块的上下文而不仅仅是语料块本身这样来获得更完整的语料上下文信息提升RAG生成质量。句子滑窗检索获取检索到的句子的上下文自动合并检索这个策略是将文档分块建成一棵语料块的树比如1024切分、512切分、128切分并构造出一棵文档结构树。当应用作搜索时如果同一个父节点的多个叶子节点被选中则返回整个父节点对应的语料块。从而确保与问题相关的语料信息被完整保留下来从而大幅提升RAG的生成质量。实测发现这个方法比句子滑动窗口检索效果好。自动合并检索的方法返回父节点文本作为检索结果混合检索关键词语义双保险志愿者查资料有两种方式一是按关键词查游客说全聚德直接翻到全聚德那页二是按意思查游客说正宗烤鸭志愿者能联想到全聚德。混合检索就是把这两种方式结合起来既能精确匹配关键词又能理解语义相近的表达。这在实际业务中特别有用。比如用户问怎么退货系统不仅能找到包含退货关键词的文档也能找到写着退换流程售后服务的相关文档。技术团队可以调整两种检索方式的权重找到最适合你业务的平衡点。7.2 提升意图识别准确率游客说话往往口语化、不够精确。比如问“附近有吃的吗”游客是想吃正餐还是吃小吃是要快餐还是特色菜信息太少志愿者容易理解偏差。或者游客问了一个超出手册范围的问题志愿者就可能乱猜答案。所以优化的第二个方向是在用户提问环节做优化让系统更准确地理解用户真正想问什么。Enrich 完善用户问题最直接的方法让大模型帮忙翻译用户的口语化问题改写成更专业、更明确的表述。就像志愿者听到附近有吃的吗会追问您是想找正餐还是小吃中餐还是西餐——把模糊问题变清晰再去查手册。通过多轮对话完善用户问题的工作流Multi-Query 多路召回你可以换个方式不去反复追问用户而是让系统自己“多猜几种可能”。当听到“附近有吃的吗”这个问题时系统同时猜测可能是想找正餐、可能是想找小吃、可能是想找快餐。针对每种理解都去查一遍手册最后综合所有结果给出答案。就像经验丰富的志愿者会从多个角度理解游客的问题。RAG-Fusion 过滤融合上一步你通过多路查询找到了很多资料但你不能全部塞给大模型。还是要先筛选。去掉重复的内容、再按相关性排序然后交给大模型生成答案。就像志愿者从多本手册找到了10条信息先去掉重复的把最相关的放前面再整理给游客。Step Back 问题摘要可能你遇到的游客说了一大段话病情描述、纠纷经过等信息很多但核心不明确。这时可以先“后退一步”让大模型提炼核心意图“大体上看这是什么类型的问题”抓住主线后再去查相关资料。Decomposition 问题分解与上一步相反你还可以做“拆解”把游客询问的复杂问题拆成多个小问题逐一解决。例如当游客问“怎么去长城并在那里玩一天”志愿者会拆解成①怎么去②门票多少③有什么景点④午饭在哪吃针对每个小问题分别查手册最后整合成完整攻略。HyDE 假设答案这个策略很有意思先让大模型“凭感觉”给个答案再用这个答案去查手册找到正式资料后重新组织回答。就像游客问推荐一家烤鸭店志愿者第一反应“全聚德不错”然后他翻手册找到全聚德的详细信息地址、营业时间、特色菜再把完整资料告诉游客。用“第一印象”来引导查找方向。这个策略让大模型先来根据用户的问题生成一段假设答案然后用这段假设的答案作为新的问题去文档库里匹配新的文档块再进行总结生成最终答案。Self-RAG 自我反思让系统在回答前自我检查——像志愿者回答完游客后心里默默问自己三个问题材料对吗我翻的手册页和游客的问题相关吗没编造吧我说的都是手册上写的还是我自己猜的解决了吗游客的问题真的被回答了吗这种自我审查机制能有效提升回答质量减少错误和幻觉。7.3 增加信息提取途径CRAG改造信息抽取途径手册里查不到答案怎么办可以上网搜索。这就是CRAG策略。如果知识库里的信息和用户问题相关性太低系统就主动搜索互联网把网络信息和知识库信息合并后再回答。判断查不到有两种方式看相似度分数检索结果的匹配分数都很低说明知识库里没有相关内容问大模型让大模型判断这些资料能回答用户的问题吗CRAG原理图就像游客问“明天天安门升旗几点”很有可能志愿者手册里没有这个实时信息志愿者就打开手机搜一下查到最新时间后再告诉游客。从多种数据源中获取资料除了文本手册还可以从其他资料库获取信息——比如数据库里的统计数字、知识图谱里的关联关系。这需要系统层面的改造但能大幅扩展信息来源。通过大模型搜索数据库来抽取信息- 从数据库查数据NL2SQL游客问上个月景区接待了多少人——系统把这个问题转成数据库查询语句直接从统计系统里调数据。Spider数据集和“执行正确率”评测榜单榜单上排名靠前的DAIL-SQLGPT4Self-Consistency技术就是使用先检索相似问题构造Few-Shot提示词再用GPT4来生成SQL并添加了多路召回策略的方法。来源https://yale-lily.github.io/spider- 从知识图谱挖关系游客问故宫和颐和园有什么历史渊源——系统从知识图谱里查找两个景点的关联节点发现都和清朝皇室有关挖掘出隐藏的关联信息。将用户的问题转化为Neo4j的Cypher查询语句从知识图谱中获取关键知识7.4 更换排序模型或Embedding模型选择更适合业务的Embedding模型手册内容要转成机器能理解的“数字形式”Embedding向量才能做相似度匹配。转换用的模型Embedding模型质量差异很大——好的模型能更准确地理解语义提升检索准确率。就像不同的翻译有的能精准传达原意有的会丢失细节。针对中文业务应该选中文表现好的模型针对你的业务场景也可以建议技术团队挑选专门优化过的模型。选择更适合业务的ReRank模型找到资料后还要“排序”把最相关的内容放最前面。好的ReRank模型就像经验丰富的志愿者能准确判断哪条信息最能解决游客的问题。你也可以让技术团队测试不同的ReRank模型选出最适合业务的。模型选型建议你可以考虑在ModelScope社区搜索最近关注度高、下载量大的模型。当然如果你有特殊需求并且你的业务语料非常丰富你也可以考虑建议你的技术团队训练或微调一个Embedding模型或ReRank模型。在 Embedding 模型选择上你可以考虑阿里云上按 token 计费的通用文本向量 API服务。它是通义实验室基于LLM底座开发的多语言文本统一向量模型系列在多个主流语中都有高水准的表现。并且其按用量付费、开箱即用的服务模式有助于你降低项目初期的投入成本。同时还可以考虑智源研究院发布的BAAI/BGE系列模型这是目前比较火热的Embedding嵌入模型和ReRank重排序模型可以有效提升中文语料的RAG检索性能。优秀的Embedding模型可以更精确地表达句子的含义ReRank模型通过重新评估初步检索到的结果依据相关性进行进一步的排序帮助系统更精准地定位到与用户问题最相关的chunk。如bge-large-zh-v1.5 在中文上有很好的表现bge-reranker-base 和 bge-reranker-large也有较高的下载量。7.5 更换基座模型当上述优化手段都尝试后RAG效果仍不理想时可以考虑更换更强大的基座模型。基座模型的选择标准选择基座模型时需要综合考虑以下因素模型能力包括理解能力、推理能力、上下文处理长度等语言支持对中文、英文等目标语言的支持程度成本与性能平衡API调用成本、响应速度、吞吐量等垂直领域适配度模型是否在你的业务领域有良好表现常见的模型升级路径从小参数模型如7B升级到中等参数模型如14B、72B从开源模型升级到商业闭源模型如GPT系列、Claude系列从通用模型切换到垂直领域优化的模型需要注意的是更换基座模型通常成本较高建议在充分评测和论证后再做决策。如果你想为专业领域搭建问答系统或者为公司内部知识库开发智能助手RAG就是你的最佳选择。记住RAG不是一次性工程而是需要持续评测、持续优化的过程——业务专家定方向技术团队做实现两者配合才能让系统越来越好。感谢阅读下期更精彩