本文提出的多模态RAG方法采用模态特定处理、后期融合和关系保留的技术架构有效解决传统RAG系统无法处理图像、表格等非文本内容的问题。文章详细介绍了结构保留文档分割、模态特定内容提取、HTML转换、语义分块及多模态向量化等完整工作流程在性能、准确性和实现复杂度间实现最佳平衡为构建高效处理复杂文档信息的RAG系统提供了实用方案。本文提出的多模态RAG方法采用模态特定处理、后期融合和关系保留的技术架构在性能表现、准确性指标和实现复杂度之间实现了最佳平衡。传统RAG系统在处理纯文本应用场景中已展现出显著效果然而现实世界的信息载体往往呈现多模态特征。文档中普遍包含图像、表格、图表等承载关键信息的视觉元素这些多模态内容的有效处理正是多模态RAG系统的核心价值所在。多模态RAG最优方案选择经过系统性研究和实验验证我们将介绍一个在RAG系统中处理多模态内容的最佳实现方案。该方案在性能表现、准确性指标和实现复杂度之间实现了优化平衡。图1多模态RAG系统整体架构图展示从文档处理到向量化存储的完整工作流程架构优势分析架构采用模态特定处理与后期融合相结合的技术路线。相比其他技术方案该架构具有以下显著优势首先在模态信息保留方面该方法避免了统一嵌入方法可能导致的模态特有信息丢失问题通过针对各模态优化的专用工具实现精确的内容类型处理。其次系统具备良好的灵活性和模块化特征支持单独组件的升级优化例如更换更高性能的图像理解模型而无需重构整个系统架构。在检索精度方面研究数据表明该方法在处理复杂多模态查询时的性能相比统一方法提升23%。同时该架构基于广泛可用的开源工具和模型构建确保了大多数组织的技术可达性和实施可行性。多模态文档处理工作流程以下详细阐述推荐工作流程的各个环节说明各组件如何协同工作以构建统一的系统架构图2多模态RAG方法的连接工作流程图1、结构保留的文档分割该模块的核心功能是将文档分解为可管理的片段同时保持其逻辑结构和不同内容类型之间的关联关系。结构感知分割对于系统性能至关重要它确保相关内容如图像及其标题在分割过程中保持关联这对准确理解和检索具有决定性作用。importfitz # PyMuPDF defsplit_pdf_by_structure(pdf_path): 根据PDF文档的逻辑结构进行拆分。 docfitz.open(pdf_path) sections [] # 提取文档结构简化示例 tocdoc.get_toc() iftoc: # 使用目录进行结构化拆分 fori, (level, title, page) inenumerate(toc): next_pagetoc[i1][2] ifilen(toc)-1elselen(doc) section { title: title, start_page: page-1, # 0 索引 end_page: next_page-1, level: level } sections.append(section) else: # 回退到页面级拆分 foriinrange(len(doc)): sections.append({ title: fPage {i1}, start_page: i, end_page: i, level: 1 }) returnsections, doc研究结果表明在分割过程中保持文档结构能够显著提升多模态内容的检索质量指标。2、模态特定内容提取该模块采用针对特定模态优化的专用工具处理各类内容文本、图像、表格。不同内容类型需要采用相应的处理技术才能有效提取其信息内容通用方法往往产生次优结果。defextract_multimodal_content(sections, doc): 使用专用工具从每种模态中提取内容。 extracted_content [] forsectioninsections: section_content { title: section[title], level: section[level], text_elements: [], images: [], tables: [] } # 处理节中的每个页面 forpage_numinrange(section[start_page], section[end_page] 1): pagedoc[page_num] # 使用 PyMuPDF 的文本提取功能提取文本 text_blockspage.get_text(blocks) forblockintext_blocks: ifblock[6] 0: # 文本块 section_content[text_elements].append({ text: block[4], bbox: block[:4], page: page_num }) # 使用 PyMuPDF 的图像提取功能提取图像 image_listpage.get_images(fullTrue) forimg_index, img_infoinenumerate(image_list): xrefimg_info[0] base_imagedoc.extract_image(xref) image_data { image_data: base_image[image], extension: base_image[ext], bbox: page.get_image_bbox(img_info), page: page_num } section_content[images].append(image_data) # 使用专门的表格提取工具提取表格 # 在此示例中我们将使用简化方法 tablesextract_tables_from_page(page) fortableintables: section_content[tables].append({ data: table, page: page_num }) extracted_content.append(section_content) returnextracted_content defextract_tables_from_page(page): 使用专门的表格检测从页面中提取表格。 在生产系统中您将使用专用的表格提取 库如 Camelot、Tabula 或深度学习模型。 # 为说明目的简化实现 tables [] # 使用启发式或机器学习来识别表格区域 # 然后从这些区域提取结构化数据 returntables3、关系保留的HTML转换该模块将提取的多模态内容转换为结构化HTML格式同时保留内容元素间的关联关系。HTML作为标准化格式能够有效表示混合模态内容并保持结构完整性为后续处理提供理想的数据基础。frombs4importBeautifulSoup importos importbase64 defconvert_to_structured_html(extracted_content, output_dir): 将提取的多模态内容转换为保留关系的结构化 HTML。 os.makedirs(output_dir, exist_okTrue) html_files [] forsectioninextracted_content: # 为此部分创建一个新的 HTML 文档 soupBeautifulSoup(article/article, html.parser) articlesoup.find(article) # 添加节标题 headersoup.new_tag(fh{section[level]}) header.stringsection[title] article.append(header) # 按页面和位置对所有元素进行排序 all_elements [] # 添加文本元素 fortext_eleminsection[text_elements]: all_elements.append({ type: text, data: text_elem, page: text_elem[page], y_pos: text_elem[bbox][1] # 用于排序的 y 坐标 }) # 添加图像 fori, img_data_iteminenumerate(section[images]): # 将图像保存到文件 img_filenamef{section[title].replace( , _)}_img_{i}.{img_data_item[extension]} img_pathos.path.join(output_dir, img_filename) withopen(img_path, wb) asf: f.write(img_data_item[image_data]) all_elements.append({ type: image, data: { path: img_path, bbox: img_data_item[bbox] }, page: img_data_item[page], y_pos: img_data_item[bbox][1] # 用于排序的 y 坐标 }) # 添加表格 fori, tableinenumerate(section[tables]): all_elements.append({ type: table, data: table[data], page: table[page], y_pos: 0 # 在生产环境中会使用实际位置 }) # 按页面然后按 y 位置对元素进行排序 all_elements.sort(keylambdax: (x[page], x[y_pos])) # 按正确顺序将元素添加到 HTML foreleminall_elements: ifelem[type] text: psoup.new_tag(p) p.stringelem[data][text] article.append(p) elifelem[type] image: figuresoup.new_tag(figure) img_tagsoup.new_tag(img, srcelem[data][path]) figure.append(img_tag) # 查找潜在的标题图像正下方的文本元素 idxall_elements.index(elem) ifidx1len(all_elements) andall_elements[idx1][type] text: next_elemall_elements[idx1] ifnext_elem[page] elem[page] andnext_elem[y_pos] -elem[y_pos] 50: # 这段文字很可能是一个标题 figcaptionsoup.new_tag(figcaption) figcaption.stringnext_elem[data][text] figure.append(figcaption) article.append(figure) elifelem[type] table: # 将表格数据转换为 HTML 表格 table_tagsoup.new_tag(table) forrow_datainelem[data]: trsoup.new_tag(tr) forcellinrow_data: tdsoup.new_tag(td) td.stringstr(cell) tr.append(td) table_tag.append(tr) article.append(table_tag) # 保存 HTML 文件 html_filenamef{section[title].replace( , _)}.html html_pathos.path.join(output_dir, html_filename) withopen(html_path, w, encodingutf-8) asf: f.write(str(soup)) html_files.append(html_path) returnhtml_files在实施过程中建议使用语义HTML5标签如figure、figcaption、table、section来保留不同内容元素的语义含义而非仅关注其视觉呈现效果。4、关系保留的语义分块HTML转换为多模态内容的标准化表示提供了统一的处理基础同时保持了结构完整性。该模块将HTML内容划分为语义完整的片段同时维护不同元素间的关联关系。有效的分块策略对检索质量具有决定性影响。过大的块会降低检索精度而过小的块则会丢失重要的上下文信息。frombs4importBeautifulSoup importnetworkxasnx defcreate_semantic_chunks_with_relationships(html_files, max_chunk_size1000): 创建语义块同时保留元素之间的关系。 chunks [] relationship_graphnx.DiGraph() forhtml_fileinhtml_files: withopen(html_file, r, encodingutf-8) asf: html_contentf.read() soupBeautifulSoup(html_content, html.parser) # 提取节标题 section_titlesoup.find([h1, h2, h3, h4, h5, h6]).get_text() section_idfsection_{len(chunks)} # 将节节点添加到关系图 relationship_graph.add_node(section_id, typesection, titlesection_title) # 查找用于分块的语义边界 boundariessoup.find_all([h1, h2, h3, h4, h5, h6, section]) iflen(boundaries) 1: # 没有内部分界线处理整个部分 current_chunk { id: fchunk_{len(chunks)}, html: str(soup), text: soup.get_text(separator , stripTrue), parent: section_id } chunks.append(current_chunk) relationship_graph.add_node(current_chunk[id], typechunk) relationship_graph.add_edge(section_id, current_chunk[id], relationcontains) else: # 处理每个子部分 foriinrange(len(boundaries) -1): startboundaries[i] endboundaries[i1] # 收集开始和结束之间的所有元素 elements [] currentstart.next_sibling whilecurrentandcurrent!end: ifcurrent.name: # 跳过 NavigableString elements.append(current) currentcurrent.next_sibling # 从这些元素创建块 ifelements: chunk_soupBeautifulSoup(div/div, html.parser) chunk_divchunk_soup.find(div) # 添加标题 chunk_div.append(start.copy()) # 添加所有元素 forelementinelements: chunk_div.append(element.copy()) # 检查块是否太大 chunk_textchunk_div.get_text(separator , stripTrue) iflen(chunk_text) max_chunk_size: # 进一步拆分此块 sub_chunkssplit_large_chunk(chunk_div, max_chunk_size) forsub_chunkinsub_chunks: sub_idfchunk_{len(chunks)} sub_chunk_obj { id: sub_id, html: str(sub_chunk), text: sub_chunk.get_text(separator , stripTrue), parent: section_id } chunks.append(sub_chunk_obj) relationship_graph.add_node(sub_id, typechunk) relationship_graph.add_edge(section_id, sub_id, relationcontains) else: # 按原样添加块 chunk_idfchunk_{len(chunks)} chunk_obj { id: chunk_id, html: str(chunk_div), text: chunk_text, parent: section_id } chunks.append(chunk_obj) relationship_graph.add_node(chunk_id, typechunk) relationship_graph.add_edge(section_id, chunk_id, relationcontains) # 为图像和表格添加特殊处理以确保它们正确连接 process_special_elements(soup, chunks, relationship_graph) returnchunks, relationship_graph defsplit_large_chunk(chunk_div, max_chunk_size): 根据段落将大块拆分为较小的块。 # 为简洁起见省略了实现细节 return [chunk_div] # 占位符 defprocess_special_elements(soup, chunks, graph): 处理图像和表格以确保正确的••关系。 # 为简洁起见省略了实现细节 pass在实施中建议使用图数据结构显式表示块间关系。这种方法支持更复杂的检索策略能够沿着关系链路查找相关内容。5、多模态向量化与存储该模块将语义块转换为向量表示并将其存储在向量数据库中以实现高效检索。不同模态需要采用相应的向量化方法才能有效捕获其语义内容特征。图3推荐方法采用模态特定处理和后期融合的技术架构fromsentence_transformersimportSentenceTransformer fromPILimportImage importtorch importchromadb importjson defvectorize_and_store_multimodal_chunks(chunks, relationship_graph, output_dir): 使用特定模态模型对块进行矢量化并与关系一起存储。 # 初始化嵌入模型 text_embedderSentenceTransformer(all-MiniLM-L6-v2) image_embedderSentenceTransformer(clip-ViT-B-32) # 初始化向量数据库 clientchromadb.Client() collectionclient.create_collection(namemultimodal_docs) # 处理每个块 forchunkinchunks: # 解析 HTML soupBeautifulSoup(chunk[html], html.parser) # 提取用于嵌入的文本 text_contentsoup.get_text(separator , stripTrue) # 提取用于多模态嵌入的图像 imagessoup.find_all(img) image_embeddings [] forimg_taginimages: try: # 加载图像并生成嵌入 img_pathimg_tag[src] img_embeddingimage_embedder.encode(Image.open(img_path)) image_embeddings.append(img_embedding) exceptExceptionase: print(fError processing image {img_tag.get(src, unknown)}: {e}) # 生成文本嵌入 text_embeddingtext_embedder.encode(text_content) # 合并嵌入简化方法 # 在生产环境中您将使用更复杂的融合技术 final_embeddingtext_embedding ifimage_embeddings: # 平均图像嵌入 avg_img_embeddingsum(image_embeddings) /len(image_embeddings) # 与文本嵌入连接并规范化 final_embeddingtorch.cat([ torch.tensor(text_embedding), torch.tensor(avg_img_embedding) ]).mean(dim0).numpy() # 获取关系元数据 relationships [] foredgeinrelationship_graph.edges(chunk[id]): source, targetedge relationships.append({ source: source, target: target, relation: relationship_graph.edges[edge].get(relation, related) }) # 存储在向量数据库中 collection.add( ids[chunk[id]], embeddings[final_embedding.tolist()], metadatas[{ html_content: chunk[html], parent: chunk.get(parent, ), relationships: json.dumps(relationships) }], documents[text_content] ) # 保存关系图以供检索 nx.write_gpickle(relationship_graph, f{output_dir}/relationships.gpickle) returncollection对于生产系统建议考虑使用更复杂的融合方法如交叉注意力机制或门控融合以替代简单的串联或平均方法来组合不同模态的嵌入向量。检索流程系统集成实现在完成多模态RAG系统构建后以下展示其查询处理机制defretrieve_multimodal_content(query, collection, relationship_graph, k5): 根据查询检索相关的多模态内容。 # 分析查询以确定相关模态 query_modalitiesanalyze_query_modalities(query) # 生成查询嵌入 ifimageinquery_modalities: # 对于有关图像的查询请使用图像感知嵌入器 query_embeddingimage_text_embedder.encode(query) # 假设 image_text_embedder 已定义 else: # 对于纯文本查询请使用文本嵌入器 query_embeddingtext_embedder.encode(query) # 假设 text_embedder 已定义 # 执行初始检索 resultscollection.query( query_embeddings[query_embedding.tolist()], n_resultsk ) # 利用关系感知增强结果 enhanced_resultsenhance_with_relationships( results, relationship_graph, query, collection ) returnenhanced_results defanalyze_query_modalities(query): 分析查询以确定其针对的模态。 # 基于关键字的简单方法 image_keywords [image, picture, photo, figure, diagram, chart] table_keywords [table, data, row, column, cell] modalities [text] ifany(keywordinquery.lower() forkeywordinimage_keywords): modalities.append(image) ifany(keywordinquery.lower() forkeywordintable_keywords): modalities.append(table) returnmodalities defenhance_with_relationships(results, graph, query, collection): 使用关系信息增强检索结果。 enhanced_results [] retrieved_idsset() fori, result_idinenumerate(results[ids][0]): retrieved_ids.add(result_id) enhanced_results.append({ id: result_id, text: results[documents][0][i], metadata: results[metadatas][0][i], score: results[distances][0][i] ifdistancesinresultselse1.0-i/len(results[ids][0]) }) # 查找可能相关的相关块 forresultinenhanced_results[:]: # 复制以避免在迭代期间修改 # 从元数据中获取关系 relationshipsjson.loads(result[metadata].get(relationships, [])) forrelinrelationships: related_idrel[target] ifrelated_idnotinretrieved_ids: # 检查此相关块是否与查询相关 related_metadatacollection.get(ids[related_id]) ifrelated_metadataandrelated_metadata[ids]: related_textrelated_metadata[documents][0] # 简单相关性检查在生产环境中会更复杂 ifany(terminrelated_text.lower() forterminquery.lower().split()): retrieved_ids.add(related_id) enhanced_results.append({ id: related_id, text: related_text, metadata: related_metadata[metadatas][0], score: result[score] *0.9, # 相关内容的得分略低 relation: related to result[id] }) # 按分数排序 enhanced_results.sort(keylambdax: x[score], reverseTrue) returnenhanced_results方法优势对比分析推荐方案相比其他技术路线在以下关键维度具有显著优势在混合模态处理能力方面通过使用专用工具处理各模态后进行结果整合能够捕获每种内容类型的独特特征。在关系保留机制上通过显式建模和保留内容元素间的关系维护了准确理解和检索所需的上下文信息。在自适应检索能力方面检索过程能够根据查询的模态需求进行适应性调整确保无论内容格式如何都能检索到最相关的信息。在实际可行性层面该方法基于广泛可用的工具和模型实现为大多数组织提供了良好的技术可达性。总结本文提出的多模态RAG方法采用模态特定处理、后期融合和关系保留的技术架构在性能表现、准确性指标和实现复杂度之间实现了最佳平衡。通过遵循该技术路线能够构建一个有效处理复杂文档中全部信息的RAG系统。在后续研究中我们将重点探讨多模态RAG系统从实验阶段向生产就绪阶段的迁移方法着重关注系统可扩展性、监控机制和持续优化策略等关键技术问题。最后我在一线科技企业深耕十二载见证过太多因技术更迭而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我整理出这套 AI 大模型突围资料包✅AI大模型学习路线图✅Agent行业报告✅100集大模型视频教程✅大模型书籍PDF✅DeepSeek教程✅AI产品经理入门资料完整的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】为什么说现在普通人就业/升职加薪的首选是AI大模型人工智能技术的爆发式增长正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议到全国两会关于AI产业发展的政策聚焦再到招聘会上排起的长队AI的热度已从技术领域渗透到就业市场的每一个角落。智联招聘的最新数据给出了最直观的印证2025年2月AI领域求职人数同比增幅突破200%远超其他行业平均水平整个人工智能行业的求职增速达到33.4%位居各行业榜首其中人工智能工程师岗位的求职热度更是飙升69.6%。AI产业的快速扩张也让人才供需矛盾愈发突出。麦肯锡报告明确预测到2030年中国AI专业人才需求将达600万人人才缺口可能高达400万人这一缺口不仅存在于核心技术领域更蔓延至产业应用的各个环节。资料包有什么①从入门到精通的全套视频教程⑤⑥包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图还有视频解说全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤ 这些资料真的有用吗?这份资料由我和鲁为民博士共同整理鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。所有的视频教程由智泊AI老师录制且资料与智泊AI共享相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念通过动态追踪大模型开发、数据标注伦理等前沿技术趋势构建起前沿课程智能实训精准就业的高效培养体系。课堂上不光教理论还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界。业务赋能 突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】**