真正的高质量压缩不是简单的“删减”——让每一比特都承载多样化的信息价值为大模型走向轻量化、实用化迈出关键一步。为什么现有上下文压缩方法在高压缩率下集体“翻车”当模型把32K长文本压到1K为何性能断崖式下跌长文本压缩中容易保留大量“高度相似却重复”的内容陷入“信息内卷”看似保留了相关片段实则堆砌了语义雷同的冗余token反而误导模型生成错误答案。来自阿里巴巴未来生活实验室的研究团队发现这背后是压缩目标的根本错位现有方法只关注“相关性”却忽略了“多样性”。当多个高度相似的token同时被保留它们非但不能叠加信息量反而会相互干扰相关不等于正确让模型在高度相似的冗余信息中迷失方向。为破解这一困局研究团队提出一个颠覆性观点高质量的压缩需要同时优化“与查询的相关性”和“信息单元间的多样性”。基于此他们推出创新框架COMICOarse-to-fine context compression via Marginal Information Gain通过“边际信息增益”指标与粗到细压缩策略在32倍高压缩率下仍能精准保留多样化的关键证据链论文已中稿ICLR 2026。压缩的“智能标尺”边际信息增益MIG研究团队发现现有压缩方法存在盲区过度依赖相关性导致冗余堆积而忽略了token间语义相似性引发“信息内卷”。为此他们使用边际信息增益MIG指标将压缩决策从“单维度相关性”升级为“相关性-冗余性”双维度权衡MIG 本单元与查询的相关性 - 与其他单元的最大相似度这一指标如同为每个token配备“信息价值计分卡”既奖励与问题高度相关的片段又惩罚与已选内容高度重复的片段。粗到细自适应压缩让每比特都“物有所值”有了智能标尺如何实现精准压缩COMI采用两阶段策略像经验丰富的编辑一样“先谋篇布局再精雕细琢”第一阶段粗粒度组重分配——动态调配“压缩预算”将长文本划分为等长片段后COMI不再“一刀切”地均匀压缩而是基于组间MIG动态调整各段压缩率信息密度高、冗余度低的片段如包含关键证据的段落获得更宽松的压缩率而信息稀疏或高度重复的区域则被大幅压缩。这种自适应分配确保有限的压缩预算精准投向“高价值信息区”。第二阶段细粒度token融合——加权融合避免“信息稀释”在每个片段内部COMI根据token级MIG进行加权融合高MIG token相关且独特在融合中占主导权重低MIG token冗余重复被自然稀释。这一机制有效避免了传统平均池化导致的“关键细节被平滑掉”的问题使压缩后的表示既紧凑又富含多样化信息。整个框架在NaturalQuestions、HotpotQA等5个数据集上仅需单次训练即可执行问答、摘要等多种长上下文任务。实践出真知高压缩率下的优越性能与深刻洞察下游任务表现卓越在32倍压缩约束下COMI以Qwen2-7B为基座在NaturalQuestions上实现49.15的Exact MatchEM分数比次优基线高出近25个点。即使面对32K超长文本NarrativeQACOMI仍能稳定保留推理链关键节点证明其在极端压缩场景下的鲁棒性。压缩不是“删减”而是“提纯”COMI甚至能提升原生支持256K上下文的Qwen3-4B性能。在NaturalQuestions上32倍压缩后的COMI达到28.89的F1分数远超直接输入完整上下文的16.90。这证明高质量压缩不仅是“减负”更是通过消除冗余干扰实现“信息提纯”让模型更聚焦于核心证据。效率与效果兼得在32倍压缩下COMI实现端到端推理速度2倍以上提升且压缩阶段仅引入轻量级开销NarrativeQA任务中压缩耗时2.76秒生成仅0.50秒为工业级部署铺平道路。总结COMI工作为长上下文高效推理提供了新范式它通过边际信息增益这一简洁而深刻的指标将压缩目标从“保留相关片段”升级为“保留相关且多样化的信息”从根本上破解了高压缩率下的性能瓶颈。粗到细的自适应策略则确保了压缩过程既符合全局信息分布又保留局部语义细节。这项研究证明真正的高质量压缩不是简单的“删减”——让每一比特都承载多样化的信息价值为大模型走向轻量化、实用化迈出关键一步。论文标题COMI: Coarse-to-fine Context Compression via Marginal Information Gain论文链接https://arxiv.org/abs/2602.01719代码链接https://github.com/Twilightaaa/COMI