优图开源一个多模态文档解析模型-Youtu-Parsing-2.5B这是一个以多模态视觉语言模型为基础的pipeline结构即vlm既做layout版式分析又做ocr Format识别并使用高并行性解码策略解决传统文档解析中 “自回归解码速度慢、多区域处理冗余” 两大痛点其目标是在不损失识别精度的前提下通过 “token级并行 区域级并行” 的协同提升文档解析的吞吐量。Youtu-Parsing 在 OmniDocBench v1.5 上的表现功能上相较于以往的模型增加了几个小功能如下另外还增加了文档层次结构分析的功能明确元素间的逻辑关联-子父、分组、内容延续修复物理布局导致的语义断裂如“跨列的连续文本”。用于各个子任务的提示词如下 高并行性解码策略概述传统文档解析如OCR、表格/公式识别依赖自回归解码其核心问题是序列生成效率低Token如字符、符号需逐一生成每步仅能生成1个token面对长文本如表格、多列文档时 latency 极高多区域处理冗余传统VLMs需按顺序处理文档中的多个元素如文本块、表格、公式的边界框重复调用模型导致计算冗余。ps这点可能是为了写论文需要其实可以在工程侧进行优化比如借助VLLM框架进行batch推理提升吞吐量。并行解码框架解决方式分token并行和Query并行Token Parallelism不逐一生成文档里的字符/符号一次批量生成多个候选最多64个再验证哪些和逐一生成的结果一致只保留正确的既加快单个内容块比如表格、一段文本的解析速度又不丢精度。输入构造在当前上下文序列含视觉嵌入、系统指令、已生成token后追加 n 个特殊的 mask token默认 n64形成增强输入Query Parallelism不逐个处理文档里的多个独立元素比如多个文本块、公式、表格一次打包处理多个最多5个减少重复调用模型的冗余在Token Parallelism的基础上进一步提速。Query Parallelism 在 “短文本密集型文档”如幻灯片、表单、结构化报告中效果显著。模型架构模型架构与youtu-vl类似经典的vlm结构vit采用NaViT风格的ViT参数规模为0.4B集成动态分辨率预处理模块可适应不同尺寸的文档图像如扫描件、多列论文、幻灯片输出多尺度、高保真的视觉特征图且特征图为后续所有任务共享避免重复计算两层MLPLLMYoutu-LLM-2B共分三个阶段处理阶段1共享视觉特征提取输入原始文档图像如PDF页、扫描件NaViT编码器对图像进行全局扫描生成统一的共享特征图为后续“布局分析”和“区域解码”复用无需重复编码输出多尺度、高分辨率的视觉特征图为全流程提供基础特征支撑。阶段2版式分析输入共享视觉特征图 任务指令提示如“识别文档中的表格、公式、文本块”处理逻辑Youtu-LLM-2B结合视觉特征进行跨模态空间推理完成两项核心任务语义分类判断文档元素的类别如文本块、表格、公式、图表、印章、层级结构定位预测每个元素的边界框坐标x₁,y₁,x₂,y₂确保元素位置精准输出包含“边界框坐标语义类别”的文档元素列表如「(x₁,y₁,x₂,y₂), TABLE」「(x₃,y₃,x₄,y₄), FORMULA」。阶段3区域提示解码输入上一步结果有三点处理逻辑特征检索根据区域提示的坐标从共享特征图中提取该元素的目标视觉特征类别适配针对不同元素类型如公式→LaTeX格式、表格→OTSL格式、文本→纯文本注入类别特定提示避免不同元素的格式干扰细粒度识别Youtu-LLM-2B基于目标特征与类别提示生成结构化结果如LaTeX公式代码、OTSL表格结构、纯文本内容输出每个文档元素的结构化解析结果。训练方法如上表训练分三个阶段预训练Stage 1- 监督微调Stage 2- 强化学习Stage 3阶段1预训练通过大规模数据训练让模型掌握文档的基础视觉特征与通用语言规律,使用30M OCR-centric样本覆盖多种文档类型如学术论文、表单、扫描件确保数据多样性。引入几何变换如旋转、裁剪、噪声注入如模糊、光斑等操作提升模型对低质量、变形文档的鲁棒性。阶段2监督微调SFT—— 适配文档解析任务基于预训练模型通过专家标注数据微调适配“布局检测、文本识别、公式/表格/图表解析”等场景需求。使用3M标注数据标注信息包括“元素边界框、语义类别文本/公式/表格等、结构化输出格式如LaTeX公式、OTSL表格”。布局检测预测文档元素的空间坐标支持阅读顺序重建文本识别适配多字体、复杂背景下的文字提取公式识别将数学表达式映射为标准LaTeX格式表格识别采用优化表格结构语言OTSL解析表格拓扑与内容图表识别将条形图、折线图等转化为结构化表格或Mermaid语法。阶段3强化学习通过GRPO强化学习进一步优化模型输出减少“幻觉生成错误内容”确保输出符合人类对文档结构、语义完整性的预期。使用20K高复杂度文档样本如嵌套表格、多列公式、手写批注文档聚焦模型易出错的场景。针对不同解析任务设计差异化奖励确保模型在各维度均达标布局分析基于“预测与真实边界框的最优二分匹配IoU”评分奖励几何精度表格识别结合“归一化编辑距离文本准确性”与“树编辑距离相似度TEDS结构完整性”惩罚内容错误与结构幻觉公式识别从“字符编辑距离、结构骨架相似度、符号Jaccard重叠、分隔符一致性”4个维度评分确保公式语法与语义正确。数据引擎开源数据迭代流水线合成数据迭代实验性能学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】