本文系统梳理了多模态大模型MLLM中 Token 压缩技术的研究进展重点介绍了基于压缩位置的分类方法Vision Encoder、Projector、LLM及多模块压缩策略。同时针对不同部署场景提供了选择压缩策略的实用指南包括时空增强压缩、文本引导压缩、Token Merging/Dropping 等方法。文章还探讨了当前面临的挑战与未来研究方向旨在为初学者和程序员提供全面的入门知识和实践参考。近年来多模态大模型在视觉感知长视频问答等方面涌现出了强劲的性能但是这种跨模态融合也带来了巨大的计算成本。高分辨率图像和长视频会产生成千上万个视觉 token 带来极高的显存占用和延迟限制了模型的可扩展性和本地部署。正是这种紧迫的需求催生了 MLLM Token Compression 迅速成为研究爆点两年内在该垂直领域产出了约 200 篇论文。但是随着研究工作的快速涌现领域内的方法也变得极其庞杂难以归类进一步具体到落地场景里面往往因为方法多样而难以选择。针对这一背景来自北京大学、中国科学技术大学等机构的研究人员首先基于压缩位置对方法进行了系统归类然后讨论了对于特定的部署场景应该选择何种压缩机制最后探讨了目前的挑战和具有前景的方向。Github 链接: https://github.com/yaolinli/MLLM-Token-Compression论文链接: https://www.techrxiv.org/doi/full/10.36227/techrxiv.176823010.07236701/v1图 1. MLLMs 中 Token 压缩代表性工作时间线基于压缩位置视角的系统分类where to compress图 2. MLLM Token 压缩方法的系统分类研究人员根据 Token 压缩方法在 MLLM 架构中应用的位置对现有方法进行了系统性的分类。在从视觉输入到文本输出的整个处理过程中Token 压缩策略可以逐步部署在三个架构模块中Vision Encoder在此阶段进行压缩可以降低视觉感知阶段的计算开销Projector在从视觉表示空间向语言表示空间转换的过程中整合 Token 削减技术Large Language Model在此阶段进行压缩可实现整体的跨模态效率优化。1Vision Encoder 中的压缩图 3. MLLMs 中视觉编码器模块所采用的 Token 压缩策略示意图在 MLLMs 中视觉数据本质上比文本具有更高的冗余性而由于视觉编码器是编码视觉输入的第一个模块在这一初始阶段减少视觉 Token 可以为整个 MLLM 系统带来显著的效率提升。研究人员首先回顾并将在视觉编码器模块中应用的视觉侧 Token 压缩方法分为两大类视觉编码器内部压缩Inside-VE和视觉编码器外部压缩Outside-VE。由于视觉编码器不同的层会捕捉不同尺度的视觉信息从低层纹理到高层概念因此 Inside-VE 往往通过开发多尺度压缩方案来协调各层之间的压缩。Outside-VE 的设计具有即插即用的特点对原始架构的改动极小并且可以根据是否引入文本信号进行灵活的设计。2Projector 中的压缩图 4. MLLMs 中 projector 模块所采用的 Token 压缩策略示意图Projector module 作为一个接口将原始的视觉嵌入转换为与语言兼容的表示形式从而确保 vision encoder 提取的信息能被大语言模型有效利用。虽然像 Q-Former 这样的早期 projector 架构通过将大量的视觉嵌入提炼为一组紧凑的查询 Token实现了高效 Token 压缩但后续的大量研究为 projector 引入了额外的设计增强以实现更细粒度和任务自适应的压缩。研究人员将这些方法大致分为三大类并进行了详细的讨论基于变换的方法基于查询的方法和重要性驱动的方法。3LLM 中的压缩图 5. MLLMs 中 projector 模块所采用的 Token 压缩策略示意图由于 LLM 的参数量通常远超视觉编码器和投影器会成为性能瓶颈的关键组件在这一阶段进行高效压缩会产生直接收益。MLLM 早期发展阶段非常关注短文本视觉问答VQA因此这一时期的压缩策略专注于预填充阶段会在输入序列第一次在 LLM 中 forward 时就对视觉 token 进行压缩。但是随着思维链技术的飞速发展研究重心已转向长视觉问答场景这些技术通常在 decoding 阶段选择性地剪枝或合并 KV Cache 来降低内存和计算成本。4多模块压缩除了在单个组件内应用 Token 压缩外近期已有越来越多的方法开始探索跨多个模块的压缩策略以实现更高的压缩效率和更优的表征质量。这类方法主要关注如何协调不同组件之间的压缩并将其组织为一个多阶段过程从而最大限度地提高整体效率和表征质量。对于这种混合压缩策略研究人员详细介绍并分析了两种新兴的设计范式多模块协同压缩以及多阶段渐进式压缩。表 1. 代表性 MLLMs token 压缩策略总结不同使用场景下如何选择合适的压缩策略how to select由于 Token 压缩设计方法的激增有必要制定相关指南以帮助从业者针对特定的部署场景选择最佳策略研究人员对关键的选择因素进行了全面对比。1针对视频输入的时空增强压缩虽然现有的空间压缩策略可以直接应用于单帧但它们通常无法利用帧间的冗余。为了填补这一空白最近的研究提出了时空增强的 Token 压缩方法这些方法明确考虑了时间结构以实现高效的长序列建模。研究人员进一步详细介绍了应该使用哪些策略解决时空联合压缩时序结构保留以及超长序列等实际挑战。2纯视觉压缩 vs. 文本引导压缩现有方法根据其是否利用了文本信息用户指令可分为纯视觉压缩和文本引导压缩这两种策略是互补的一种实用的设计是首先通过纯视觉压缩导出紧凑的视觉表示然后在语言模块中应用文本引导的选择机制以精炼出与给定文本查询相关的 Token。3Token Merging vs. Token DroppingToken Merging 提供了平滑的聚合适用于密集或在时间上冗余的视觉输入而当高层语义已足够稀疏时Token Dropping 的效率则更具优势。未来的框架可能会受益于自适应的混合设计根据模态特征和冗余类型在 “软聚合” 和 “硬剪枝” 之间进行动态切换。4即插即用方法 vs. 重训练方法即插即用方法非常适合在训练资源有限或任务需求相对温和的情况下进行快速部署和推理加速。然而它们的性能上限相对有限最近的研究进一步通过实验证明免训练 Token 压缩方法在需要高分辨率视觉理解任务中会出现显著的性能下降。相比之下重训练方法在细粒度多模态理解方面表现优异能够提供更高的性能上限但代价是大量的额外训练开销。5加速训练 vs. 加速推理由于任务的相似性原则上所有可用于 LLM 预填充的加速推理策略也都可以用于加速训练但是大多数 sota MLLM 仍然使用最简单的 Token 压缩机制如 poolingpixel unshuffle 等。为什么这些多样化的方法没有被主流 LVLM 广泛采用 研究人员分析了三个主要原因Flash Attention 兼容性问题训练验证成本高昂导致的策略保守归纳偏置导致的泛化性下降Inductive bias。由于目前的 MLLM 旨在用于通用目的任何特定能力的退化都是不可接受的。结语尽管 MLLMs 的 Token 压缩技术取得了快速进展但仍有若干开放性挑战值得进一步研究比如缺乏理论辅助缺乏任务与内容感知的自适应性实际细粒度感知的任务性能下降这些都是值得进一步探索的重要问题。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取