文章AnyUp: Universal Feature Upsampling代码https://github.com/wimmerth/anyup单位马克斯·普朗克信息学研究所、苏黎世联邦理工学院、谷歌、慕尼黑工业大学一、问题背景视觉特征上采样的核心需求是把低分辨率特征图精准放大到高分辨率同时保留原特征的语义和细节信息适配各类下游视觉任务。但在此之前主流的两类方法都各有致命问题传统无学习方法如双线性插值、最近邻插值虽能适配任意特征模型、任意分辨率却会让放大后的特征图过度模糊丢失大量细节导致下游任务效果大打折扣现有有学习方法如FeatUp、LoftUp、JAFAR虽提升了上采样质量但模型绑定性极强换一个特征提取模型就需要重新训练不仅耗费大量算力对最新的大视觉模型而言重新训练甚至难以实现。同时部分方法还受限于固定的放大比例、特定的下游任务灵活性极差。简单来说此前的方法要么“通用但效果差”要么“效果好但不通用”行业急需一个能兼顾通用性、高质量、高灵活性的特征上采样方法。二、方法创新为了解决上述痛点研究团队提出了AnyUp通用特征上采样模型核心实现了一次训练全场景适配其创新点主要集中在四个核心设计从底层架构到训练策略全方位优化特征无关层这是AnyUp实现“万能适配”的核心能将任意模型、任意维度的输入特征转换成统一的规范格式处理从根源上解决了传统方法需要绑定特定特征提取模型的问题局部窗口注意力机制摒弃了传统的全局注意力让模型仅关注每个像素周围的局部区域避免放大时参考图片中无关的远区域信息既提升了上采样的精准度又降低了计算量让模型更高效基于图片局部裁剪的训练策略无需在超大分辨率图片上做训练既慢又费算力而是随机截取图片的局部区域进行训练大幅提升训练效率和内存利用率同时保证训练效果双重一致性正则化训练时加入自一致性和输入一致性正则化不仅让模型对噪声和图像增强更鲁棒还能最大程度保留原特征的空间分布避免语义信息失真。整体而言AnyUp的架构轻量、参数少既保留了有学习方法的高上采样质量又具备了无学习方法的全场景通用性。三、实验结果研究团队在ImageNet数据集上训练AnyUp并在语义分割、深度估计、表面法向量估计等多个主流视觉任务上做了全面测试对比了双线性插值、FeatUp、LoftUp、JAFAR等主流方法结果表现亮眼下游任务效果领先在COCO、ADE20k、PASCAL VOC等数据集的语义分割任务中AnyUp的mIoU和像素准确率均为最优在NYUv2等数据集的深度、表面法向量估计中误差更低、预测准确率更高细节保留更完整任意分辨率放大表现优异无论调整输入特征的分辨率和目标放大比例AnyUp在各比例下的表现均碾压或持平其他方法完全摆脱了固定放大比例的限制特征分布保留最佳用低分辨率特征训练的任务模型直接用到AnyUp放大的高分辨率特征上无需微调即可高效运行而其他方法要么效果暴跌要么完全无法适配泛化能力超强用DINOv2训练的AnyUp直接迁移到SigLIP 2、DINOv3、ResNet等从未训练过的特征模型上效果居然和专门用这些模型训练的其他方法持平甚至更优真正实现了跨模型的零成本适配。同时可视化结果显示AnyUp放大后的特征图边缘更锐利、细节更丰富无过度平滑、特征偏移等问题而其他方法均存在不同程度的失真。四、优势与局限核心优势全维度通用适配任意特征提取模型、任意输入输出分辨率、任意下游视觉任务一次训练即可全场景使用大幅降低算力和开发成本高上采样质量相比传统方法保留更多特征细节和语义信息相比现有有学习方法下游任务效果更优高效易用模型轻量训练效率高单张NVIDIA H100 GPU仅需5小时且作者已公开代码和预训练权重可直接开箱即用特征保留性好最大程度维持原特征的空间分布和语义信息无需对下游任务模型做微调适配成本极低。现存局限暂未结合特征去噪功能无法处理特征图中的位置编码伪影不过该功能可后续简单集成到AnyUp的流程中其核心放大逻辑是通过低分辨率特征的线性组合生成高分辨率特征若想提取更精细的子像素级信息需要设计更复杂的模型架构。五、一句话总结AnyUp作为首个推理时特征无关的通用视觉特征上采样模型通过特征无关层、局部窗口注意力等创新设计实现了任意特征、任意分辨率、任意任务的全场景适配既保证了顶尖的上采样质量和特征保留能力又具备轻量高效、开箱即用的特性为各类需要高分辨率视觉特征的计算机视觉任务提供了全新的通用解决方案。