RAG(Retrieval-Augmented Generation,检索增强生成)是一种结合了信息检索和生成式AI的技术架构。以下是RAG的完整流程:RAG 完整流程1.文档准备阶段(离线处理)原始文档 → 文档分块 → 文本嵌入 → 向量存储文档收集:收集各种格式的文档(PDF、Word、网页、数据库等)文档预处理:清洗文本、去除噪声、格式转换文档分块(Chunking):将长文档切分成较小的片段固定大小分块(如512、1024 tokens)语义分块(按段落、章节)递归分块文本嵌入(Embedding):使用嵌入模型将文本转换为向量表示向量存储:将向量存储到向量数据库中(如Pinecone、Milvus、Chroma等)2.查询处理阶段(在线处理)用户查询 → 查询嵌入 → 向量检索 → 结果排序 → 上下文构建用户查询:接收用户的自然语言问题查询嵌入:使用相同的嵌入模型将查询转换为向量相似度检索:在向量数据库中搜索与查询向量最相似的文档片段余弦相似度欧氏距离点积结果过滤与排序