1. 从“分割一切”到“追踪一切”MASA想解决什么难题大家好我是老张在AI和计算机视觉这个圈子里摸爬滚打了十几年从早期的传统特征匹配到后来的深度学习再到如今这些动辄几十亿参数的“基础模型”可以说是看着这个领域一步步“卷”过来的。今天想和大家聊聊一个让我眼前一亮的CVPR 2024工作——MASA。这名字挺有意思Matching Anything by Segmenting Anything翻译过来就是“通过分割万物来匹配万物”。说白了它的野心就是把SAMSegment Anything Model那“看啥分啥”的逆天能力直接转化成“看啥跟啥”的通用追踪器。咱们先聊聊痛点。传统的多目标跟踪MOT技术比如你在监控视频里追行人、在无人机画面里数车辆其实都挺“挑食”的。什么意思呢你训练一个在“行人数据集”上表现优异的跟踪模型把它直接扔到“野生动物纪录片”里让它去追斑马它大概率就懵了。因为模型在学习过程中已经深深地记住了“行人”这个特定领域Domain的外观、姿态、运动模式。一旦换了场景模型学到的那些“知识”就不太管用了这就是所谓的“域鸿沟”。所以业界一直有个梦想能不能做一个“通用”的跟踪器不挑食不认生给它看任何视频无论是街景、手术室、显微镜下的细胞还是足球比赛它都能自动识别出里面的物体并稳定地追踪下去。这听起来就像让一个只会下中国象棋的AI突然也能下国际象棋和围棋一样难。核心挑战有两个第一数据从哪来给“万物”都标注跟踪数据成本是天文数字。第二模型怎么学如何让一个模型学会“追踪”这个抽象动作本身而不是记住特定物体的长相MASA的聪明之处就在于它巧妙地绕开了这两个大山。它发现SAM这个“分割万物”的模型本身就是一个取之不尽、用之不竭的“知识宝库”。SAM虽然不会跟踪但它能在单张图片里把任何物体都精准地抠出来。那么如果我们能自己“制造”出跟踪所需要的“监督信号”呢MASA给出的答案就是自己跟自己玩。通过对一张图片进行各种“花样百出”的几何变换比如旋转、裁剪、扭曲然后让SAM去分割变换前和变换后的图片。因为变换规则是我们自己定的所以同一个物体在变换前后的像素对应关系我们心知肚明。SAM的分割结果则把这些像素组织成了“物体实例”。这样一来我们就免费获得了海量的、跨领域的“配对数据”同一个物体在两种不同视角下的样子。这就是MASA最核心的“自监督”信号来源完全不需要人工标注。有了这个思路剩下的就是工程实现了如何设计一个轻巧高效的模型来学习这种“配对”能力并最终用于视频帧与帧之间的跟踪这就是MASA中另一个关键设计——**轻量级Adapter适配器**登场的时候了。它就像给SAM这个“全能大脑”接上了一个专精于“找相同”的“小脑”让SAM的能力得以延伸。接下来我们就一层层剥开MASA的技术洋葱看看它是如何具体运作的。2. 自监督信号制造厂数据增强与SAM的梦幻联动2.1 如何无中生有地创造跟踪数据MASA训练的核心燃料不是标注好的跟踪视频而是海量的静态图片。这个过程非常巧妙我打个比方这就好比你想教一个AI认识“苹果”但你不直接告诉它“这是苹果”而是给它看同一个苹果被从不同角度拍的照片、被切成两半的照片、被部分遮挡的照片然后让AI自己琢磨“哦这些看起来不一样的东西原来是同一个玩意儿。”具体到技术细节MASA的“自监督信号制造流水线”是这样工作的选取一张图片从任何一个大型图像数据集比如COCO、OpenImages里随机抽一张图。这张图里有什么我们完全不在乎可以是猫狗也可以是汽车飞机。施加“强数据增强”对这张原图应用一系列随机的、剧烈的几何变换。这可不是简单的亮度调整而是像随机透视变换、大尺度的裁剪与缩放、弹性形变这类“伤筋动骨”的操作。目的是让变换后的图像看起来像是从另一个视角、另一个时间点拍摄的同一场景从而模拟视频中相邻帧之间物体可能发生的外观和位置变化。我们记原图为I变换后的图为I。关键点在于这个变换函数T是我们自己定义的因此对于I中的任何一个像素点(x, y)我们都能精确知道它在I中的新位置T(x, y)。请出“分割大师”SAM分别将I和I输入到SAM模型中。SAM会基于其强大的视觉理解能力输出这两张图中所有它认为可能是“物体”的分割掩码Mask。每个掩码对应一个物体实例比如I中可能分割出[猫 沙发 花瓶]I中可能分割出[猫变形后 沙发部分 花瓶]。建立实例级对应关系现在我们手里有了一张图里物体的“身份证”SAM分割出的实例以及像素级的坐标变换地图我们自己做的数据增强。利用这张地图我们可以轻松地将I中某个实例比如“猫”的所有像素映射到I中。如果这些映射过去的像素大部分都落在了I中SAM给出的某个实例掩码内比如“猫变形后”那么我们就可以非常确信地说I中的“猫”和I中的“猫变形后”是同一个物体。就这样我们分文未花就获得了一份高质量的“跟踪训练对”一个物体实例在两种不同状态下的图像块及其对应关系。这个过程可以无限重复利用世界上所有的公开图片生成近乎无限的、覆盖万物类别的训练数据。这彻底解决了通用跟踪的数据来源问题。2.2 对比学习让模型学会“认亲”有了成对的实例数据接下来就要训练模型学会判断“谁和谁是一家子”。MASA这里用了一个非常经典且有效的范式对比学习。它的思想直观又有效拉近“正样本对”同一个物体的两种形态的特征距离推远“负样本对”不同物体的特征距离。具体到损失函数就是大家可能听说过的InfoNCE Loss的变体。假设我们从一批训练数据中提取出了一个实例的特征向量q我们称之为“查询特征”。它的“正样本”q就是来自同一物体经过数据增强后的另一个视图的特征。而“负样本”集合Q-则包含了同一批次中所有其他物体的特征。模型的任务是学习一个特征提取器使得q和q的相似度通常用点积或余弦相似度衡量尽可能高而q和所有Q-中特征的相似度尽可能低。损失函数会惩罚模型把正样本对认错或者把负样本对认亲。通过大量这样的训练模型的特征空间会逐渐被组织起来同一个物体的不同变体会聚集在特征空间的相近区域而不同物体的特征则会彼此远离。那么最核心的问题来了这个至关重要的实例特征q到底是怎么从图片中提取出来的呢总不能直接用SAM分割出来的像素块吧这就需要引出MASA的第二个核心创新——那个精巧的Adapter模块了。3. 轻量级Adapter给SAM装上“跟踪小脑”3.1 为什么需要Adapter直接微调SAM来做跟踪行不行理论上可以但实操上问题很大。SAM是个参数量超过600亿的庞然大物全参数微调的计算成本和存储开销是绝大多数研究机构和个人开发者无法承受的。更致命的是全量微调可能会导致“灾难性遗忘”——SAM好不容易学到的、能够分割万物的强大泛化能力可能在追逐跟踪性能的过程中被破坏掉最后变成一个只在特定跟踪数据上表现好却丧失了分割新物体能力的“瘸腿模型”。因此MASA采用了当前大模型领域非常流行的“冻结主干微调适配器”的范式。简单说就是把SAM的权重完全锁死当作一个固定不变的、强大的视觉特征提取器。然后我们只在SAM后面接入一个非常轻量级的、可学习的网络模块这就是Adapter。所有针对跟踪任务的训练都只更新这个Adapter的参数。这样做的好处显而易见训练效率极高几乎保留了SAM的全部原始能力同时又能让模型学会新的跟踪技能。3.2 Adapter的内部构造FPN与可变形卷积MASA的Adapter设计得非常考究它主要解决两个跟踪中的实际问题多尺度目标和目标形变。首先为了处理不同大小的目标比如近处的大车和远处的小车Adapter借鉴了目标检测中经典的特征金字塔网络FPN思想。SAM的骨干网络本身就会输出多层不同分辨率的特征图浅层特征细节丰富利于定位小物体深层特征语义信息强利于识别大物体。Adapter通过一系列轻量的转置卷积用于上采样放大特征图和最大池化用于下采样缩小特征图操作将这些不同层级的特征融合起来构建一个融合了多尺度信息的统一特征金字塔。这样无论目标大小如何Adapter都能在合适的特征层上找到它。其次为了应对跟踪过程中目标发生的姿态变化、非刚性形变比如人从走到跑Adapter在特征融合时引入了可变形卷积Deformable Convolution。普通卷积的采样网格是固定的比如一个3x3的方格可变形卷积则允许这个网格中的每个采样点根据输入特征的内容进行“自适应”的偏移。这意味着当特征图中存在一个弯曲的物体边界时可变形卷积的采样点可以自动“弯曲”过去贴合边界从而提取到更精准的特征。这对于跟踪那些形状多变的物体至关重要。3.3 跟踪头与辅助检测头从Adapter输出的、经过多尺度融合和形变适应的特征图上MASA通过一个称为跟踪头Track Head的轻量级模块通常就是几个卷积层来最终提取每个实例的特征向量q。这个q就是前面对比学习要用到的那个“身份证”。光有对比学习来拉近特征距离还不够。为了让Adapter更好地理解“物体”这个概念本身MASA还增加了一个辅助的检测头Detection Head。这个检测头直接以SAM生成的分割掩码作为“伪标签”在Adapter输出的特征图上进行目标检测训练。这个过程实际上是一种知识蒸馏SAM的分割结果中蕴含了丰富的关于物体位置、形状、边界的先验知识。通过让Adapter的检测头去学习预测这些掩码相当于把SAM对于“什么是物体”的深刻理解蒸馏到了这个轻量的Adapter中。这进一步强化了Adapter对物体实例的感知能力让它提取的特征q不仅利于匹配也包含了丰富的物体结构信息。4. 从训练到推理Zero-shot跟踪如何实现4.1 训练流程全景图现在我们把整个训练流程串起来看就非常清晰了输入一张图片I。数据增强对I应用强几何变换得到I。SAM分割将I和I输入冻结的SAM得到两组实例分割掩码。建立对应利用已知的变换关系将I中的实例与I中的实例配对形成正样本对。特征提取将I和I输入冻结的SAM骨干网络提取多层特征。这些特征送入可学习的Adapter模块包含FPN、可变形卷积等再经过跟踪头得到每个实例的特征向量q。计算损失对比损失基于实例特征q计算正负样本对的对比学习损失让模型学会匹配。检测损失Adapter的特征同时送入检测头以SAM的分割掩码为监督计算检测损失实现知识蒸馏。反向传播只更新Adapter、跟踪头、检测头的参数SAM骨干网络参数始终保持冻结。 通过在海量图片上重复这个过程Adapter就学会了从SAM的特征中提炼出那些对于判断“是否是同一物体”最有用的信息。4.2 推理与跟踪策略训练好的MASA模型在推理实际跟踪时就完全独立于SAM了。SAM只在训练阶段充当“免费标注员”推理时我们只需要使用训练好的轻量级Adapter和跟踪头。这保证了跟踪速度。推理流程遵循经典的“检测-跟踪”范式但检测器可以非常灵活Detect Mode你可以使用任何你喜欢的检测器或分割器比如YOLO、DETR甚至还是SAM在每一帧提供目标提议Proposal。MASA的Adapter负责为这些提议提取特征然后进行跨帧匹配。Track Mode你也可以使用MASA自身在上一帧的跟踪结果经过运动估计后作为当前帧的提议区域。匹配策略上MASA借鉴了QDTrack的双重软最大Bi-softmax匹配方法。它计算两个相似度双向Softmax相似度不仅考虑当前帧的候选目标与历史轨迹的匹配度也考虑历史轨迹与当前帧所有候选的匹配度然后取平均。这有助于解决遮挡和密集场景下的模糊匹配。余弦相似度直接计算两个特征向量的余弦距离。 将这两种相似度分数平均得到最终的匹配分数。然后采用贪心匹配或匈牙利算法等为每一帧的新目标找到最可能的历史轨迹进行关联从而实现跨帧的稳定跟踪。最关键的是由于整个模型是在海量、开放世界的图片上通过自监督方式学习“匹配”这一通用能力的因此它在面对训练时从未见过的物体类别和场景时依然能表现出色。这就是所谓的“Zero-shot跟踪”能力。你不需要用斑马的数据训练它它只要在训练时见过各种动物通过SAM分割得到的学会了如何匹配物体的外观和形状变化那么当它在视频里第一次见到斑马时也能较好地完成跟踪任务。5. 实战思考MASA的启示与局限聊了这么多原理最后结合我自己的经验说说对MASA这类工作的看法。它给我的最大启发是“借力打力”的思路。SAM的出现本质上为视觉社区提供了一个前所未有的、高质量的“视觉概念库”。MASA没有去重复造轮子而是思考如何基于这个“库”去构建更上层的应用跟踪并且用非常巧妙的自监督方法解决了数据瓶颈。这为很多视觉任务如姿态估计、动作识别的通用化提供了新范式。在实际尝试或借鉴其思想时有几点值得注意对SAM的依赖整个训练管道的质量建立在SAM分割的准确性上。如果SAM在某个极端场景下分割失败或混乱那么生成的“自监督信号”就是噪声会误导Adapter的学习。不过好在SAM的泛化能力极强这为MASA奠定了坚实基础。运动信息的缺失目前MASA的训练完全基于静态图片的增强没有利用视频中天然存在的时间连续性和运动信息。如何将动态的运动线索也作为自监督信号融入训练是未来可以探索的方向可能会进一步提升跟踪的平滑性和对快速运动的鲁棒性。实时性考量虽然推理时不再需要SAM但Adapter和特征提取的耗时仍需优化才能满足真正的实时跟踪应用。这通常需要进一步的模型轻量化或工程优化。长时跟踪与ID保持在非常长的视频序列中如何处理目标的完全遮挡后重现、巨大的外观变化如人换衣服仍然是通用跟踪面临的挑战。MASA目前的方法更侧重于短时关联的鲁棒性。总而言之MASA是一项将基础模型潜力向下游任务释放的优秀工作。它告诉我们与其在狭窄的标注数据里“内卷”不如抬头看看那些已经具备通用能力的大模型想想如何用更聪明的方法让它们为我们解决更广泛的问题。对于想要进入通用视觉跟踪领域或者想在自己的项目中尝试Zero-shot能力的朋友MASA的代码已经开源非常值得把玩和学习从中你能深刻感受到自监督学习和适配器微调的魅力。