点击下方卡片关注「3D视觉工坊」公众号选择星标干货第一时间送达来源3D视觉工坊「3D视觉从入门到精通」知识星球(点开有惊喜) 星球内有20多门3D视觉系统课程、300场顶会讲解、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研欢迎加入论文信息标题Efficient-SAM2: Accelerating SAM2 with Object-Aware Visual Encoding and Memory Retrieval作者Jing Zhang, Zhikai Li, Xuewen Liu, Qingyi Gu机构Institute of Automation, Chinese Academy of Sciences、School of Artificial Intelligence, University of Chinese Academy of Sciences原文链接https://arxiv.org/abs/2602.08224代码链接https://github.com/jingjing0419/Efficient-SAM2导读分割一切模型2在视频目标分割任务中展现出卓越性能然而其沉重的计算负担阻碍了在实时视频处理中的应用。尽管已有提升SAM2效率的尝试但多数聚焦于轻量化骨干网络的重训练对训练后加速的探索甚少。本文中我们观察到SAM2展现出类似生物视觉的稀疏感知模式这为消除冗余计算和加速提供了契机ⅰ在掩码解码器中注意力主要集中于前景目标而早期阶段的图像编码器则呈现宽泛的注意力范围导致对背景区域产生不必要的计算。ⅱ在记忆库中每帧仅有一小部分令牌对记忆注意力有显著贡献且显著区域具有时间一致性使得全令牌计算变得冗余。基于这些洞察我们提出Efficient-SAM2该框架促使SAM2自适应聚焦于目标区域同时消除任务无关计算从而显著提升推理效率。具体而言针对图像编码器我们提出目标感知的稀疏窗口路由——一种窗口级计算分配机制利用前一帧解码器的一致性及显著性线索将背景区域路由至轻量级快捷分支。此外针对记忆注意力我们提出目标感知的稀疏记忆检索仅允许每帧中显著的记忆令牌参与计算其显著性模式从其首次调用起即被复用。凭借可忽略的额外参数与极低的训练开销Efficient-SAM2在SAM2.1-L模型上实现1.68倍加速在SA-V测试集上精度仅下降1.0%其中SWR与SMR分别提供1.83倍和1.78倍加速。代码已开源。效果展示在图4(a)中我们的方法在不降低准确率的前提下同时加速了B和L两种变体。对于Large模型我们在各模块上分别实现了最高达1.80倍和1.78倍的加速端到端加速比为1.68倍对于Base模型两个主要模块的加速比分别达到1.86倍和1.65倍整体流水线加速比为1.59倍表明延迟降低效果均衡。在端到端对比图4(b)中Efficient-SAM2.1-B与Efficient-SAM2.1-L推动了帕累托前沿向更优方向移动在保持相当甚至略优性能的同时显著降低了推理耗时而其他方法ToMe、MemPool、EdgeTAM所实现的加速比较小或导致更明显的精度下降。因此我们的SMR/SWR变体提供了更优的速度–性能权衡在不牺牲分割质量的前提下实现了最高达1.8倍的加速。引言分割一切模型作为视觉基础模型能够根据用户指令进行可提示分割其继任者SAM2通过记忆机制扩展了视频理解能力可参考长时历史信息处理流式视频序列在视频目标分割与视频目标跟踪任务中取得显著成效。然而对大规模视觉骨干网络及帧级记忆交互的依赖带来了高昂的计算成本与延迟限制了其在实时视频处理中的应用。SAM2的主要延迟瓶颈在于其图像编码器与记忆注意力模块。为解决此问题EdgeTAM通过蒸馏轻量级模型架构并引入空间感知器进行记忆压缩实现了边缘级效率。然而其高昂的训练成本与性能下降阻碍了实际部署。另一研究方向通过动态合并相似令牌加速视觉Transformer骨干网络但这些方法不仅难以适配SAM2分层、以窗口注意力为主的架构且在分割任务中表现不佳导致严重性能下降与不理想的实际加速效果。本工作中我们观察到SAM2展现出类似生物视觉的稀疏感知模式但其默认处理流程未能利用此稀疏性导致计算冗余。❶ 掩码解码器中聚焦目标的注意力 vs. 图像编码器的宽泛注意力范围。在掩码解码过程中提示到图像的注意力表现出对提示兴趣的目标偏好。如图1所示注意力集中于前景目标及潜在干扰物而背景特征被显著抑制。相比之下早期阶段的图像编码器不感知提示兴趣呈现宽泛的注意力范围因此产生无效计算。❷ 记忆库中时间一致的显著性 vs. 重复的全令牌回忆。在记忆注意力中整个记忆帧被反复调用来调制图像特征。然而我们观察到有用信息呈稀疏分布仅有一小部分令牌主动提供线索。如图2所示默认模式下记忆帧在其退出记忆队列前需为每一输入帧重新计算但注意力模式展现出强时间一致性频繁聚焦于一组固定的信息令牌这为修剪不必要计算提供了契机。基于上述洞察我们提出Efficient-SAM2——一个面向SAM2的目标感知计算调度与优化框架旨在提升图像编码器与记忆注意力两者的效率。具体而言针对图像编码器我们引入目标感知的稀疏窗口路由它在窗口层级进行计算分配并自然融入SAM2的窗口注意力机制。SWR将背景窗口分配至轻量级快捷分支以减少冗余计算其中路由器利用前一帧掩码解码器提供的一致性及显著性线索。此快捷分支由两个线性层构成参数可忽略且可高效训练。此外针对记忆注意力我们提出目标感知的稀疏记忆检索仅选择记忆库中的显著令牌参与注意力计算有效降低总令牌成本。值得注意的是利用时间一致性记忆帧的显著性模式在其首次参与记忆注意力时被缓存并在后续帧中复用无需重新计算。主要贡献我们的贡献总结如下• 提出Efficient-SAM2一种针对SAM2的训练后稀疏加速方案。它解决了SAM2稀疏感知模式与密集计算之间的矛盾凸显了图像编码器与记忆注意力中的冗余操作为高效加速提供了新视角。• 基于上述洞察我们为图像编码器与记忆注意力分别设计了专用加速方案。针对图像编码器通过将背景窗口路由至轻量级快捷分支在窗口级分配计算。针对记忆注意力将计算限制于每帧中显著的记忆令牌其显著性由初次参与时的记忆注意力图决定。• Efficient-SAM2在多个VOS基准测试上展现了卓越的性能-速度权衡同时仅增加可忽略的额外参数并产生极小的训练成本。例如Efficient-SAM2在SAM2.1-L模型上实现1.68倍端到端加速在SA-V测试集上精度仅下降1%SWR与SMR分别提供1.83倍和1.78倍加速。方法针对图像编码器我们引入目标感知的稀疏窗口路由基于目标的空间-时间一致性与感知显著性将与目标无关的背景窗口分配至轻量级快捷分支从而降低编码冗余。针对记忆注意力我们提出目标感知的稀疏记忆检索构建先进先出掩码队列以检索最显著的记忆令牌其中显著性模式从其首次调用起即被复用从而降低计算成本。实验结果SAM2.1-B模型结果。表1展示了不同加速方法在SAM2.1-B模型上、记忆间隔Δt1和Δt5时的性能与加速比对比。我们的方法在性能与效率之间展现出卓越平衡。专注于图像编码器加速的SWR在Δt1时实现1.65倍加速比同时保持强劲性能。例如在SA-V测试中达到75.0仅较原始模型下降2.7在DAVIS中达到89.4精度仅下降0.3。针对记忆注意力优化的SMR实现1.82倍加速同时性能与原始模型相当在SA-V测试中取得77.8在DAVIS上无精度下降。协同作用下Efficient-SAM2在Δt1时提供1.71倍加速性能下降极小。相比之下其他方法如ToMe虽提供加速但性能显著下降而MemPool实现更高加速比但伴随较大性能损失。SAM2.1-L模型结果。表2展示了加速方法在更大规模SAM2.1-L模型上的性能。在此更大模型上我们的方法优势更为显著。SWR在Δt1时实现1.80倍加速同时性能几乎与原始模型持平SA-V测试得分79.0DAVIS得分89.8。SMR同样表现优异达到1.78倍加速性能指标接近原始模型。Efficient-SAM2方法提供1.75倍推理加速同时在关键指标上保持竞争力。值得注意的是在Δt5时SWR方法在DAVIS数据集上的性能甚至超越原始模型表明其具备抑制噪声的潜力。在所有模型与数据集上我们针对SMR及其变体的实验结果均为SAM2记忆库中令牌级稀疏性假设提供了证据。不同稀疏率的消融研究表明稀疏记忆配置能够维持甚至超越原始密集记忆的性能。总结 未来工作本文中我们提出了Efficient-SAM2一个针对SAM2的训练后加速框架解决了SAM2固有稀疏感知模式与其密集处理流程之间的失配。通过剖析掩码解码器中的注意力集中现象与显著记忆令牌的时间一致性我们识别出两个关键低效环节并引入两个轻量级、目标感知的组件来解决它们。SWR在窗口层级重新分配计算将通过前一帧显著性与解码器衍生一致性信号识别出的背景窗口路由至轻量级快捷分支同时保留目标相关区域的计算。SMR将记忆注意力局限于显著令牌在首次使用各记忆帧时缓存其显著性模式并在后续帧中重复应用从而避免冗余重计算。在多个VOS基准上的实验表明Efficient-SAM2无需昂贵重训练或架构重构即可实现优越的精度-效率权衡。对更多实验结果和文章细节感兴趣的读者可以阅读一下论文原文~本文仅做学术分享如有侵权请联系删文。3D视觉工坊春节专属课程福利重磅来袭为回馈新老学员一路支持本次活动特推出重磅折扣福利所有课程统一享7折特惠其中10门课程支持一次性全部打包购买(限时福利仅需279元)春节7折特惠春节专属7折优惠微信扫码领取限时三天内使用3D视觉工坊所涉及课程的包括但不限于工业3D视觉、自动驾驶、SLAM、具身智能、扩散模型、无人机、大模型和3D视觉基础等。专属打包福利上图中的ROS2、相机标定、线结构光、3D缺陷检测、激光-视觉-IMU-GPS融合SLAM、VINS-Fusion、模型部署、3D目标检测、深度估计、多传感器融合这10门课程除单独购买享7折外也支持一次性全部购买限时福利仅需279元扫描下方二维码加入「3D视觉从入门到精通知识星球」一次性全部解锁扫码加入3D视觉从入门到精通知识星球活动咨询▲长按扫码添加小助理咨询更多