文章来源 微信公众号 EW Frontier基于对比学习的自动调制分类方法一、摘要在军事与民用领域如频谱监测、特定辐射源识别、认知无线电采用有监督深度神经网络DNN实现自动调制分类AMC的端到端方案已受到广泛关注。然而该方法存在泛化误差、虚假相关性等问题。为捕捉并提取更抽象、更有用的特征以提升下游任务性能“对比学习” 这一极具潜力的表征学习方法已在计算机视觉和自然语言处理领域取得显著成效其核心是通过最大化 latent 空间中同一数据样本不同视图间的相似度来学习有效特征。本文提出一种基于对比学习的目标函数旨在提升模型在低信噪比SNR数据集上的迁移性能。与以往用于噪声信号分类的去噪类方法相比该方法摒弃了成对输入的约束允许模型利用同一类别内噪声信号与干净信号的任意组合。此外引入噪声水平估计模块增强了模型在不确定噪声环境下的鲁棒性。在合成雷达信号数据集和公开通信信号数据集上的仿真结果表明所提方法泛化误差极小且在不同噪声类型的信号数据上均展现出优异性能。二、引言自动调制分类AMC是指对接收信号的调制模式进行识别它是频谱管理、认知电子战及各类军民应用中的关键技术。例如在大规模无线通信的信号侦察与检测、低截获概率LPI雷达的脉内分析中AMC 可用于判断敌方电子发射机的工作参数为后续作战方案制定提供支持。但实际应用中AMC 面临诸多挑战一方面传统的最大似然准则和基于特征的方法计算复杂度高且有时难以得到最优解另一方面当数据量不足、信号受强噪声或干扰严重污染时AMC 的实现难度会大幅增加。近年来有监督深度神经网络DNN被视为高效解决 AMC 问题的潜在方案。这种端到端范式能直接以原始数据为输入自动学习不同任务所需的内部表征相比传统技术无需人工设计特征即可学习高维数据中的复杂映射关系。例如Ramjee 等人通过融合 DenseNet 与 LSTM 架构提出优化版 CLDNN 模型在包含 10 种调制类型的数据集上当信噪比大于 2dB 时分类准确率可达 90% 左右文献 [15] 设计的 MCNet 模型采用非对称卷积核、残差连接和多尺度特征图在 RadioML 2018.01A 数据集含 24 种调制类型上20dB 信噪比下分类准确率达 93.59%Dong 等人提出的半监督学习框架 SSRCNN通过交叉熵损失、KL 散度损失和中心损失构成的多组件损失函数结合有标签与无标签数据训练在 RadioML 2016.04C 数据集上实现约 94% 的稳定平均准确率对噪声污染的抗干扰能力更强。然而现有分类器普遍缺乏分布外泛化能力当训练数据与测试数据因随机噪声等外部因素产生分布偏移时模型性能会显著下降。目前AMC 领域针对这一问题的研究成果较少。作者此前提出的去噪分类网络DNCNet虽能提升高信噪比数据集训练模型在噪声污染数据上的分类准确率但依赖成对的干净与噪声数据而获取干净训练样本往往难度大、耗时长。目前业界普遍认为通过无标签数据预训练、再针对有监督下游任务微调的范式能为模型提供更优的初始参数找到泛化性能更好的最优解。预训练阶段的 pretext 任务可在无需标注的情况下学习有效表征主要包括三类一是重构类任务如 MAE、GPT、BERT通过移除部分输入数据并训练模型预测缺失部分实现二是对比类任务如 MoCo、BYOL、SimCLR通过最大化 latent 空间中同一数据不同视图的相似度学习特征三是生成类任务如 GAN、BiGAN、BigGAN通过生成器与判别器的对抗损失建模数据概率分布挖掘语义信息。本文聚焦自动调制分类问题旨在提升深度模型在面对不同噪声类型、不同噪声强度信号时的鲁棒性主要贡献如下1借鉴 SimCLR 和 MoCo 中不同视图表征间的可学习非线性变换与动量更新机制设计适用于噪声环境下 AMC 任务的对比学习深度模型。该模型从同一类别、不同采样时间的噪声与干净信号中随机选取数据无需依赖成对的噪声 - 干净训练数据避免了通过向干净信号添加随机噪声生成噪声数据的局限既符合实际接收场景需求又能适配多种噪声类型。2提出噪声水平表征模块将其与干净、噪声信号拼接后输入对比学习框架中的编码器。该模块可从输入数据中提取区分性特征作为噪声水平的指示信号从而增强模型处理不同信噪比信号数据的鲁棒性避免传统 DNN 分类器在信噪比下降时准确率大幅滑坡的问题使模型收敛到更稳定的最优解。3在公开通信信号数据集和合成雷达信号数据集上对所提方法与现有先进方法进行全面性能对比。除常用的加性高斯白噪声外还验证了方法在有色高斯噪声和脉冲噪声信号上的有效性。三、网络模型介绍本文提出的对比自监督学习自动调制分类架构CSSL-AMC遵循 “无监督预训练 - 有监督微调” 范式核心是通过对比学习比较输入的多视图判断输入对是否属于同一类别正样本对或不同类别负样本对并通过相似度函数拉近正样本对、推远负样本对。模型将干净与噪声信号视为输入的多视图分为两阶段学习1预训练阶段Pretext 任务通过对比损失提取无标签信号的通用特征。将同一类别的噪声信号与干净信号输入噪声水平估计器将噪声样本视为干净样本的增强视图将输出的噪声强度指示信号与原始信号拼接后输入编码器通过反向传播最小化对比损失衡量 latent 空间中同类干净与噪声信号的相似度。2微调阶段下游任务将预训练得到的表征迁移到下游分类任务利用有标签数据更新网络参数。与随机初始化训练相比该有监督微调策略分类准确率更高且在低信噪比噪声数据上泛化性能更优。一非成对输入设计实际场景中如雷达信号截获受传输路径损耗、人为干扰等因素影响接收机获取的信号信噪比各异同一采样周期内无法同时获得高、低信噪比的成对信号数据。因此非成对输入更贴合实际应用需求。该设计基于调制信号的确定分布与噪声的随机分布差异在同一环境下选取的非成对输入数据遵循相同概率分布代表不同时间点的信号实例。具体而言从同一类别的噪声样本和干净样本中随机选取数据构成非成对输入如图 6 所示。对比成对输入同一时间点的干净信号与噪声信号非成对输入中噪声信号与干净信号来自不同时间点。由于每个信号样本维度为2ÃN为信号序列长度需先对干净、噪声信号数据集随机打乱再随机选取数据构建尺寸为 “批大小 ×2×N” 的非成对输入。从特征学习效果看成对输入中编码器和分别处理和相似度函数仅从单个样本中提取干净信号分布与随机噪声相关特征而非成对输入通过同一类别中和\tilde{x}_j(iâ j)训练编码器使其在单次迭代中处理更多类内样本与噪声对类内分布的理解更深入。二噪声水平表征模块当信号数据信噪比与训练数据差异较大时DNN 性能下降的原因包括噪声污染和模型对未知数据集的鲁棒性 / 泛化能力不足。为避免为不同噪声水平数据单独设计模型本文采用全卷积网络FCN作为噪声水平指示模块。FCN 包含 3 个无池化操作的卷积层输出通道数分别为 32、32、2步长设为 3 并采用零填充确保输入与输出数据维度一致。将 FCN 输出与信号数据在通道维度拼接后输入后续 DNN如图 7b所示FCN 输出的特征向量可表征噪声强度为处理不同信噪比数据提供辅助信息。相比文献 [46] 中基于噪声标准差构建的噪声水平图如图 7a所示该 FCN 模块可处理信噪比未知的信号数据同时避免了噪声水平图作为正则项引入时增加模型训练难度的问题。当输入同一类别、不同噪声强度如 30dB 与 5dB 信噪比的非成对信号数据时分类器需将其归为同一类别此时 FCN 可捕捉信号本身之外的区分性特征增强模型处理未见过信噪比信号数据的鲁棒性。三对比学习框架组件借鉴 MoCo、BYOL、SimCLR 等对比学习算法通过区分图像增强视图的正负样本对学习表征该框架通过增强 latent 空间中同类干净与噪声样本的对齐性学习信号数据的通用表征提取不同但相似域中的不变表征主要包含三大组件1编码器编码器和分别从拼接噪声水平表征的干净、噪声信号序列中提取特征向量即和。基于 ResNet 架构修改适配 I/Q 信号数据采用 1D 卷积和池化操作替代原始 2D 操作输入数据尺寸为4ÃN信号数据2ÃN 噪声水平表征2ÃN因此第一层卷积输入通道设为 4移除标准 ResNet 中最后全连接层前的平均池化层最终输出 128 维特征向量。2投影器投影器将编码器输出的特征表征非线性映射到相似度计算空间。采用含 1 个隐藏层的 MLP隐藏层单元数 64输出。文献 [28] 验证非线性投影器优于线性投影器且在投影器输出上计算对比损失更有利于下游任务同时借鉴 BYOL 的非对称架构仅在编码器后设置单个投影器而非为两个编码器分别设置投影器避免动量更新过程中表征一致性下降导致的模型崩溃增强编码器的特征提取能力。3分类器下游任务分类器采用含 1 个隐藏层的 MLP输出通道数与数据集中调制类型数量一致。四训练策略1负样本选择对比学习通过拉近同一数据不同视图的表征正样本对、推远不同数据视图的表征负样本对构建数据与 latent 嵌入的分布。为避免随机分布数据作为负样本引入无关信息导致对比损失贡献小、模型收敛慢选择不同类别的真实信号数据作为负样本训练编码器区分原始样本的有效增强视图正样本与其他类别样本负样本。2动量更新与对比损失参考 MoCo 的动量对比学习机制更新编码器与投影器参数。对比损失计算公式为其中为原始样本为正样本为负样本为温度系数为余弦相似度函数。反向传播时停止编码器的梯度更新其参数通过动量更新为控制编码器更新速率的动量系数确保 latent 空间一致性。1预训练与微调范式预训练阶段通过自监督学习充分理解干净与噪声数据特征后微调阶段将语义知识非线性映射到类别信息。下游任务采用通过损失函数梯度反向传播更新的编码器图 5 中橙色模块而非动量滑动平均更新的编码器。该策略相比随机初始化训练能使模型收敛到更稳定的最优解泛化性能更优。四、结论针对深度神经网络在自动调制分类AMC中因噪声污染导致的分布外样本过拟合问题本文提出一种基于 DNN 的信号侦察与检测方法CSSL-AMC。该方法通过在嵌入空间中拉近同类信号干净与噪声样本的表征、推远不同类信号的表征学习干净与噪声样本间的特征关联摒弃了以往去噪类方法对成对干净 - 噪声输入数据的依赖。为提升模型在宽信噪比范围信号数据上的泛化能力在特征表征过程中设计了噪声水平估计器。通过与现有去噪类方法、对比学习方法的对比实验验证所提方法在不确定信噪比环境和不同噪声类型下均具有良好鲁棒性能显著提升 DNN 分类器在低信噪比信号数据上的迁移性能。