1. 从“乱枪打鸟”到“精准狙击”目标检测的样本选择困局做目标检测的朋友尤其是刚入坑的新手估计都踩过同一个坑模型训练了半天效果死活上不去调参调到怀疑人生。很多时候问题并不出在模型结构有多复杂或者你的数据有多难而是出在一个非常基础但又极其关键的环节——到底哪些样本该学哪些样本不该学也就是我们常说的正负样本划分。这听起来有点抽象我打个比方。你想象一下你是个新兵面前摆着一堆靶子目标物体和一堆子弹模型生成的候选框。你的任务是学会打中靶心。传统的做法比如经典的RetinaNet有点像“乱枪打鸟”。它会在每个位置预设好几种大小、长宽比的“子弹”Anchor然后规定只要这颗子弹和靶子的重叠面积IoU超过一个固定值比如0.5就算你打中了这颗子弹就是“好子弹”正样本你得好好研究它和靶子的偏差下次争取打得更准。那些重叠面积太小的就是“坏子弹”负样本你只需要知道“这不是靶子”就行。这个方法听起来挺合理对吧但问题就出在这个固定的0.5阈值上。现实世界里的目标千差万别。一个大象和一个蚂蚁在图像里占的像素面积天差地别。对于大象这种大目标可能很多Anchor都能轻松达到0.5的IoU但对于蚂蚁这种小目标可能只有极少数、位置和大小都恰到好处的Anchor才能达标。这就导致了一个严重的问题大目标分到了过多的正样本小目标分到的正样本却严重不足。模型在学习时自然就更“偏爱”学习大目标的特征小目标就容易被忽略检测效果自然不好。后来以FCOS为代表的Anchor-Free方法出现了它换了个思路有点像“点名狙击”。它不再预设Anchor而是把特征图上的每个点都当成一个潜在的“狙击点”。它规定如果一个点落在了目标框的中心区域并且这个点预测的距离能框住目标那这个点就是正样本。这个方法对小目标友好了一些因为它不依赖Anchor的尺寸。但它引入了新的超参数——如何定义“中心区域”这个区域设多大又是一个需要人工凭经验设定的值。所以你看无论是基于Anchor的“乱枪打鸟”还是Anchor-Free的“点名狙击”它们都依赖一个或几个人工设定的、固定的规则来划分正负样本。这些规则在面对复杂多变的真实场景时难免会“水土不服”。ATSS这篇论文的伟大之处就在于它一针见血地指出了这个核心矛盾并且提出了一个非常巧妙的解决方案让模型自己根据每个目标的具体情况动态地决定划分标准。它把“固定规则”升级成了“自适应策略”相当于给新兵配了一个智能瞄准镜能自动根据靶子的大小、远近告诉你该重点瞄哪几颗子弹。2. ATSS的核心思想让数据自己说话ATSS的全称是Adaptive Training Sample Selection自适应训练样本选择。它的核心思想可以用一句话概括抛弃一刀切的固定阈值根据每个真实目标Ground Truth周围候选样本的统计特性动态计算一个专属的IoU阈值来筛选正样本。这个想法其实非常符合直觉。我们人眼判断一个预测框好不好也不是死板地看它是否超过0.5。我们会看这个目标周围一堆预测框的质量分布。如果这个目标本身清晰、边界明确那么它周围高质量的框IoU高应该比较多而且这些框的质量都比较接近方差小。这时候我们的筛选标准就可以严格一些只选那些质量最高的。反之如果一个目标模糊或者被遮挡它周围可能就没有那么多高质量的框而且框的质量参差不齐方差大这时候筛选标准就应该放宽一些让更多“有潜力”的框参与学习。ATSS就是把这个人脑的思考过程用数学公式自动化了。它不再问“这个Anchor的IoU是否大于0.5”而是问“对于这个特定的目标什么样的IoU水平才算是‘好’样本” 这个问题的答案是从数据中自动学出来的而不是我们拍脑袋定的。为了验证这个思想的有效性ATSS论文的作者做了大量扎实的消融实验。他们首先剥离了Anchor数量和回归方式的影响让RetinaNetAnchor-Based和FCOSAnchor-Free在完全公平的条件下对比。结果发现当两者使用相同的样本选择策略时无论是用IoU还是用中心点距离它们的性能差异微乎其微。这个实验有力地证明了Anchor-Based和Anchor-Free方法性能差异的本质不在于要不要Anchor也不在于怎么回归框而就在于如何选择正负样本。这个结论在当时可以说是颠覆了很多人的认知也直接把研究焦点拉回到了样本选择这个更本质的问题上。所以ATSS并不是一个全新的检测模型它更像是一个强大的“插件”或者“策略”。你可以把它嫁接到RetinaNet、FCOS甚至其他单阶段检测器的头部替换掉原来那个固定的样本分配器模型的性能往往就能获得立竿见影的提升。接下来我们就来拆解一下这个“智能瞄准镜”具体是怎么工作的。3. 三步拆解ATSS自适应策略如何实现ATSS的工作流程非常清晰主要就三步。我结合代码和示意图带你一步步走通。假设我们现在有一张图上面有一个真实目标框GT以及模型在各个特征层上生成的一大堆Anchor或点。3.1 第一步初选——划定“候选区”首先对于每一个真实目标我们不是去看所有的Anchor那计算量太大而且很多Anchor离得太远根本没有参考价值。ATSS采取了一个聪明的办法根据空间距离进行初筛。具体操作是计算这个真实目标中心点与所有Anchor中心点之间的几何距离通常是L2距离。然后在每个特征层上都选出距离最近的K个Anchor。这里的K是一个超参数在原始论文和MMDetection等框架中通常默认为9。为什么是每层都选因为目标检测中我们常用FPN特征金字塔网络大目标在浅层特征分辨率高检测效果好小目标在深层特征分辨率低检测效果好。为了保证大小目标都能被公平对待必须在每一层都进行独立的候选样本选取。这第一步做完我们就得到了一个“候选池”。对于当前这个目标我们一共选出了L * K个候选AnchorL是特征层的数量。这些Anchor是空间位置上最接近该目标的可以认为是最有潜力成为正样本的“种子选手”。这一步就像是在靶子周围画了一个圈我们只关心圈内的子弹。3.2 第二步评估——计算“质量分布”接下来我们要评估这些“种子选手”的质量。评估标准就是它们与真实目标框的IoU。我们计算候选池中每一个Anchor与当前GT的IoU值。计算完成后我们手里就有了一个IoU列表假设有9个值如果只有一层且K9。现在ATSS要做最关键的一步计算这个IoU列表的均值m和标准差g。均值m代表了对于这个特定目标其周围最接近的一批Anchor的平均匹配质量。如果目标容易检测这个均值通常会比较高如果目标困难如小、模糊这个均值就会比较低。标准差g代表了这些候选Anchor质量的离散程度。如果候选Anchor质量都很接近比如都是0.6左右标准差就小如果有的质量很高0.8有的质量很低0.3标准差就大。3.3 第三步筛选——设定“动态门槛”有了均值m和标准差gATSS的动态阈值t就出炉了t m g。这个公式设计得非常精妙均值 m是基础线反映了目标的整体难易度。加上标准差 g是关键。如果候选样本质量参差不齐g大阈值 t 就会自动提高这意味着筛选会更严格只留下那些质量真正拔尖的样本避免让一些模棱两可的“差样本”混入正样本队伍干扰学习。如果候选样本质量很均匀g小阈值 t 就接近均值 m筛选标准相对稳定。最后我们只需要判断候选池中每个Anchor的IoU是否大于等于这个专属的动态阈值t。如果是它就被标记为正样本否则就是负样本。此外代码实现中通常还会加一个额外的几何约束被选为正样本的Anchor其中心点必须落在真实目标框的内部。这是一个很合理的兜底策略确保正样本至少在目标内部。通过这三步ATSS就完成了对每一个目标的个性化样本分配。它没有引入任何关于目标尺度、长宽比的先验假设完全让数据本身的统计特征来指导学习。这就是“自适应”的精髓所在。4. 代码实战在MMDetection中看清ATSS光讲原理可能还有点虚我们直接翻开MMDetection框架的源码看看ATSS是怎么一行行代码实现的。这能帮你真正理解细节以后自己调试或者魔改心里也有底。我们主要关注mmdet/core/bbox/assigners/atss_assigner.py这个文件。核心逻辑在assign函数里。# 1. 计算所有Anchor与所有GT的中心点距离 # gt_bboxes: [M, 4], M是这张图里GT的数量 # bboxes: [N, 4], N是所有Anchor的数量 gt_cx (gt_bboxes[:, 0] gt_bboxes[:, 2]) / 2.0 gt_cy (gt_bboxes[:, 1] gt_bboxes[:, 3]) / 2.0 gt_points torch.stack((gt_cx, gt_cy), dim1) # [M, 2] bboxes_cx (bboxes[:, 0] bboxes[:, 2]) / 2.0 bboxes_cy (bboxes[:, 1] bboxes[:, 3]) / 2.0 bboxes_points torch.stack((bboxes_cx, bboxes_cy), dim1) # [N, 2] # 计算两两之间的欧氏距离得到一个 [N, M] 的矩阵 distances (bboxes_points[:, None, :] - gt_points[None, :, :]).pow(2).sum(-1).sqrt()这一步对应我们说的“初选”。得到了一个距离矩阵记录了每一个Anchor到每一个GT中心的距离。# 2. 为每个GT在每个特征层上选择topK个最近的Anchor # num_levels: 特征层数量比如FPN的P3-P7是5层 # num_level_anchors: 每一层的Anchor数量列表 candidate_idxs [] start_idx 0 for level, anchors_per_level in enumerate(num_level_anchors): end_idx start_idx anchors_per_level distances_per_level distances[start_idx:end_idx, :] # 取出当前层的距离 _, topk_idxs distances_per_level.topk(self.topk, dim0, largestFalse) # 每列选topK小 candidate_idxs.append(topk_idxs start_idx) # 记得加上偏移量恢复全局索引 start_idx end_idx candidate_idxs torch.cat(candidate_idxs, dim0) # 最终形状 [K*L, M]这里self.topk就是参数K。我们逐层操作为每个GT选出该层上距离最近的K个Anchor最后把各层的结果拼接起来。# 3. 计算所有Anchor与所有GT的IoU overlaps self.iou_calculator(bboxes, gt_bboxes) # 得到 [N, M] 的IoU矩阵 # 4. 根据候选索引取出对应位置的IoU值并计算均值和标准差 candidate_overlaps overlaps[candidate_idxs, torch.arange(num_gt)] # 形状 [K*L, M] overlaps_mean_per_gt candidate_overlaps.mean(dim0) # 对每个GT计算其候选IoU的均值 [M,] overlaps_std_per_gt candidate_overlaps.std(dim0) # 计算标准差 [M,] overlaps_thr_per_gt overlaps_mean_per_gt overlaps_std_per_gt # 动态阈值 [M,]这一步是核心计算。candidate_overlaps是一个精心挑选出的子集只包含每个GT附近最有潜力的那些Anchor的IoU。然后针对每个GT独立计算其候选IoU的均值和标准差相加得到动态阈值。# 5. 筛选正样本IoU 该GT对应的动态阈值 is_pos candidate_overlaps overlaps_thr_per_gt[None, :] # [K*L, M] 的布尔矩阵 # 6. 额外的中心点约束正样本Anchor的中心必须在GT框内 # 计算候选Anchor中心与GT四条边的距离 l_ bboxes_cx[candidate_idxs] - gt_bboxes[:, 0][None, :] t_ bboxes_cy[candidate_idxs] - gt_bboxes[:, 1][None, :] r_ gt_bboxes[:, 2][None, :] - bboxes_cx[candidate_idxs] b_ gt_bboxes[:, 3][None, :] - bboxes_cy[candidate_idxs] is_in_gts torch.stack([l_, t_, r_, b_], dim1).min(dim1)[0] 0.01 # 距离大于0.01才算在内部 is_pos is_pos is_in_gts # 结合IoU阈值和中心点约束最后我们将满足动态阈值且中心点在GT框内的Anchor最终确定为该GT的正样本。由于ATSS的筛选已经非常精准在MMDetection中后续的采样器Sampler通常直接使用PseudoSampler也就是不进行二次采样所有被ATSS标记为正或负的样本都直接用于训练。5. ATSS的优势与实战效果不只是涨点那么简单把ATSS应用到你的检测模型里最直接的感觉就是——涨点了而且往往涨得还不少。在COCO这样的标准数据集上ATSS能让RetinaNet这类单阶段检测器的性能提升2-3个点AP这在实际研究中是非常显著的提升。但它的优势远不止于刷高指标。首先它极大地简化了调参工作。传统的样本分配方法像RetinaNet的IoU阈值FCOS的中心区域半径都是需要反复调试的超参数。不同的数据集、不同的任务场景比如行人检测和商品检测最优的超参数可能完全不同。而ATSS几乎免去了这个烦恼它唯一的超参数就是第一步中的topK通常取9而且这个参数非常鲁棒在不同数据集上表现稳定。这意味着你可以把更多精力放在模型结构、数据增强等更有创造性的工作上而不是陷在调参的泥潭里。其次它自适应地平衡了不同尺度、不同形状目标的样本分配。这是ATSS解决的核心痛点。对于大目标其候选Anchor的IoU均值通常较高标准差较小因此动态阈值也较高筛选严格避免了过多低质量的正样本。对于小目标其候选Anchor的IoU均值较低但可能因为匹配难度大而导致标准差相对较大动态阈值mg可能会比固定阈值0.5更低从而为小目标“争取”到了更多正样本缓解了样本不均衡问题。第三它弥合了Anchor-Based和Anchor-Free方法之间的鸿沟。ATSS论文的实验已经证明当使用相同的ATSS分配策略后RetinaNetAnchor-Based和FCOSAnchor-Free的性能差异变得很小。这启示我们这两种流派在样本选择策略统一后其本质能力是相近的。这也让后续的研究者可以更自由地选择回归方式预测框角点还是预测中心点距离而不必被“该选哪种范式”的问题束缚。在实际项目里我自己的体验是ATSS尤其适合那些目标尺度变化大、小目标居多的场景。比如遥感图像检测、交通场景中的远距离车辆行人、医疗图像中的微小病灶等。在这些场景下换上ATSS头经常能获得比复杂模型结构调整更明显的收益。它就像一个“性能增强插件”以极小的计算开销换来了可观的精度提升。6. 深入思考ATSS的局限与进阶讨论当然没有一种算法是完美的银弹ATSS也有其适用边界和值得思考的地方。第一个问题ATSS能否用在两阶段检测器如Faster R-CNN上这也是原文作者和我自己都思考过的问题。我的结论和原文作者类似不太必要甚至可能不合理。两阶段检测器的核心在于第一阶段的RPN区域提议网络。RPN本身就是一个粗糙的“样本选择器初步回归器”它的任务就是从海量Anchor中筛选出几千个可能包含目标的候选区域Proposal。ATSS所做的恰恰是比传统RPN更精细、更自适应的样本选择。如果你用一个强大的ATSS代替了RPN直接选出了高质量的正样本并完成了初步回归那第二阶段RoI Head的优化空间就很小了。事实上很多实验也表明将ATSS直接套用在Faster R-CNN上性能提升远不如在单阶段模型上明显有时甚至没有提升。因为两阶段检测器的优势在于“粗选精修”的流水线ATSS把“粗选”做得太“精”了反而可能破坏了这个流水线的分工平衡。第二个问题ATSS对密集遮挡场景的处理。ATSS为每个GT独立计算阈值并分配正样本这在目标彼此分离时很好用。但当目标严重重叠、互相遮挡时一个Anchor可能会同时被多个GT的候选池选中并且其IoU可能同时满足多个GT的动态阈值。这时通常的解决策略是将其分配给IoU最大的那个GT。但这依然可能存在歧义。一些后续工作如OTAOptimal Transport Assignment试图从全局最优匹配的角度来分配样本在某些极端密集场景下可能比ATSS的局部自适应策略更有优势。第三个问题超参数K的细微影响。虽然K9是一个很鲁棒的值但在一些特殊场景下微调K值可能会有意外收获。比如当你的数据集目标极其稀疏时增大K值可以让每个目标看到更多候选样本可能有助于学习当目标极其密集时适当减小K值可以避免候选池之间的相互干扰让分配更清晰。这可以作为一个进阶的调优点。ATSS的出现像是一盏明灯照亮了目标检测中“样本分配”这个长期被忽视的角落。它告诉我们有时候模型性能的瓶颈不在于更深的网络、更复杂的模块而在于这些最基础、最底层的设计。它的思想也启发了后续很多工作比如前面提到的OTA以及各种动态标签分配策略。理解ATSS不仅是学会使用一个工具更是掌握了一种“数据驱动设计”的思维方式。在实际工作中当你遇到检测性能瓶颈时不妨先别急着换模型看看你的样本分配策略是不是还有优化空间也许一个简单的ATSS就能带来惊喜。