【论文阅读:TPAMI_2025 基于对抗特征提取和稳定图像重建的红外与可见光图像融合】作者苏伟健黄永东李秋福左凤媛刘立军摘要由于训练数据和测试数据之间的差异基于自编码器的图像融合方法在使用自然图像训练时容易丢失红外和可见光图像的重要信息。基于生成对抗网络GAN的方法通常在图像域中进行对抗学习难以优化最终影响图像融合性能。为了解决这些问题本文提出了一种基于自编码器的网络——提取与重建网络ERNet用于融合红外和可见光图像。为了减弱差异问题ERNet的编码器使用红外和可见光图像进行训练。为了稳定训练编码器在红外和可见光图像的特征域中进行对抗学习使训练良好的编码器能够有效提取它们的重要特征。ERNet的解码器使用自然图像以监督模式进行训练能够从编码器提取的重要特征中重建最终的融合图像。编码器和解码器交替训练以进一步减弱差异问题。实验结果表明ERNet能够有效提取红外和可见光图像的重要特征并获得更高质量的融合图像。融合结果可以在 https://github.com/suweijian1996/ERNet 找到。关键词特征提取生成对抗网络GAN图像融合红外图像两阶段训练可见光图像1. 引言红外和可见光图像由不同成像机制的图像传感器捕获它们保留了特定域的重要信息但代价是丢失了其他信息。红外图像主要保留了暗光照条件下的辐射信息但丢失了纹理细节。相反可见光图像保留了纹理细节但在暗光照下会退化。融合红外和可见光图像是将它们的重要信息汇集到单个图像中有利于人类视觉观察和进一步的计算机处理。图像融合通常包括特征提取、特征融合和图像重建。传统方法基于多尺度分解、稀疏表示和低秩表示来表征源图像然后根据融合策略获得融合图像。尽管这些方法在许多融合任务中取得了良好的融合性能但其结果高度依赖于手工特征。近年来由于深度网络强大的特征提取能力许多基于深度学习的图像融合方法被提出。这些方法依靠专门训练的深度网络自动提取特征克服了上述传统方法的缺点。基于自编码器的深度网络使用自然图像进行训练训练稳定且更容易。在推理时它们的编码器从源图像中提取特征解码器通过保持这些特征中的梯度和强度来重建融合结果。然而由于训练和测试数据的差异编码器容易丢失红外和可见光图像的重要特征这限制了解码器的重建性能。如图1所示基于自编码器的方法RFN_Nest丢失了红外和可见光图像的重要特征物体的亮度和纹理细节。生成对抗网络GAN可以保持源域和目标域的一致性。基于GAN的图像融合方法使用单个或双判别器来区分融合图像和源图像的域差异迫使生成器从红外和可见光图像中提取重要信息。尽管这些网络是专门为红外和可见光图像设计的但基于GAN的网络作用于最终的图像域难以优化这影响了需要精细细节的图像重建过程。如图1所示基于GAN的方法FusionGAN生成模糊的边缘。为了解决上述问题提出了一种基于自编码器的模型——提取与重建网络ERNet它在两阶段训练中对特征提取阶段和图像重建阶段进行分而治之。与之前使用自然图像训练网络的自编码器网络不同通过使用红外和可见光图像的对抗学习来训练编码器提取重要特征。在对抗学习中为了克服判别器对重建性能的影响设计了一个特征判别器它在编码器之后的特征域中工作。在强度和梯度损失的驱动下使用自然图像训练ERNet的解码器最终训练好的解码器能够从编码器提取的特征中稳定重建融合图像。总之ERNet能够为特定任务提取重要特征并将它们重建为高质量的融合图像。如图1所示ERNet保留了物体的亮度信息和纹理细节。本文的主要贡献如下提出了用于红外和可见光图像融合的ERNet它在两个交替阶段训练编码器和解码器以执行它们各自的角色。ERNet的编码器通过对抗学习进行训练使用红外和可见光图像强制提取重要特征。解码器使用自然图像进行训练以实现稳定重建。设计了一个特征判别器在特征域中工作避免了通过影响网络融合性能而导致的不稳定对抗学习。与现有方法相比ERNet能够提取重要特征并生成适合人类视觉感知的融合图像。它还可以很好地应用于其他融合任务如正电子发射断层扫描PET和磁共振成像MRI图像融合以及图像序列融合。2. 相关工作本节简要介绍了两类用于红外和可见光图像融合的深度学习方法基于自编码器的方法和基于GAN的方法。2.1 基于自编码器的方法Prabhakar等提出了一种用于多曝光图像融合的自编码器网络融合结果由MEF-结构相似性指数测量SSIM损失函数引导与源图像具有更高的结构相似性。Li等设计了一种基于密集模块的编码器-解码器结构和特征维度的融合策略使用MS-COCO训练用于红外和可见光图像融合。在相关研究中提出了一种基于嵌套连接的解码器来重建特征采用两阶段注意力模型。然后自适应融合模块RFN改进了网络的融合性能。Cheng等使用Ghost模块替换了网络中的卷积层以减少自编码器的参数。上述所有方法首先训练网络分解和重建自然图像这有助于网络简单稳定地训练。然而由于训练和测试图像的差异网络难以从未知域图像中提取重要特征这影响了融合性能。2.2 基于GAN的方法Ma等提出了第一个基于GAN的网络FusionGAN用于红外和可见光图像融合。设计了一个判别器来区分融合图像和可见光图像迫使生成器保留红外图像的显著性信息和可见光图像的细节信息。FusionGAN展示了基于GAN的方法解决未充分提取源图像信息这一缺点的潜力。在后续研究中使用残差结构改进了FusionGAN的生成器。D2WGAN使用双判别器和新颖的LBP损失来保留源图像的强度和细节信息。Li和Wu提出了具有多尺度注意力机制的生成器和判别器以保留更多关于感兴趣区域的信息。GAN-FM由全尺度跳跃连接生成器和双马尔可夫判别器组成提供了具有显著对比度和丰富纹理的融合图像。基于双判别器的GAN可以保留更多源图像的信息。基于GAN的方法通过对抗学习实现特征适应专为特定任务设计。然而GAN难以优化并且在最终图像域中的对抗训练会影响融合图像的质量。3. 提出的方法ERNet以两阶段训练方式优化其编码器和解码器。如图2所示在第一个训练阶段编码器基于对抗学习从红外和可见光图像中提取特征。具体来说判别器迫使自编码器的输入和输出具有相似的特征域确保源图像的重要特征如红外像素强度和可见光纹理细节在前向传播中得到保留。在第二个训练阶段解码器被训练以重建输入自然图像。在测试时编码器提取红外和可见光图像的重要特征解码器从获得的特征中重建信息丰富的融合图像。ERNet的架构和训练策略在后续章节中给出。3.1 ERNet的架构提出的ERNet由编码器和双分支解码器组成。图3显示了ERNet架构其中包含一个编码器和一个双分支解码器。在图3中Bl.upsampling表示双线性插值上采样Conv3×3代表内核大小为3×3的卷积层括号中的数字是卷积的步长。在自编码器中随着编码器提取图像的重要特征图像的细节特征会丢失丢失的细节特征难以被解码器恢复。在ERNet中在其编码器和解码器之间应用捷径路径SCP来补偿丢失的细节特征。3.1.1 用于特征提取的编码器如图3所示ERNet的编码器包含六个3×3卷积层。每个卷积后应用批量归一化BN和LeakyReLULReLU来加速网络训练并在编码器中引入非线性特性。第三和第五个卷积层的步长2可以下采样特征并减少网络的计算成本。为了恢复细节信息两个下采样卷积之前的特征通过SCP传输到解码器。3.1.2 用于图像重建的解码器解码器由两个相同的分支组成使用编码器提取的特征重建单通道图像。在解码器中每个分支包含两个上采样层和六个卷积层。两个上采样层将特征恢复到与输入源图像相同的空间大小。第一个卷积和第三个卷积的输出特征与通过SCP从编码器传输的特征连接。与编码器中一样每个卷积层后都跟随BN和LReLU层除了最后一个。两个输出的单通道图像相加并使用tanh激活函数转换为最终的融合图像。3.2 两阶段训练策略编码器和解码器交替训练。编码器使用红外和可见光图像训练解码器使用自然图像训练。3.2.1 编码器的训练如图4所示在编码器的训练中解码器的参数被固定。使用LLVIP数据集训练编码器。LLVIP中的红外和可见光图像具有显著的域差异可以训练编码器适应不同的特征。GAN已广泛用于图像融合。然而基于GAN的图像融合方法通常训练不稳定因为图像域中的对抗学习。在ERNet编码器的训练中使用特征判别器DF在特征域中进行对抗学习。如图5所示判别器DF包含三个卷积层和两个全连接层应用于原始输入图像的特征和解码器重建的输出图像的特征。在数据前向传播中将红外图像Iir和可见光图像Ivis连接编码器从它们的连接中提取特征F而解码器从特征F中重建图像ŤIir和ŤIvis。然后生成的ŤIir和ŤIvis被连接并输入到编码器中提取特征ŤF。在数据反向传播中应用损失函数LFE来更新编码器的参数LFELcontentλLGL_{FE} L_{content} \lambda L_{G}LFELcontentλLG其中Lcontent和LG分别表示内容损失和对抗损失。参数λ保持它们之间的平衡。Lcontent使用1-范数设计用于控制输入和输出图像之间的相似性Lcontent1HW(∥TˇIir−Iir∥1∥TˇIvis−Ivis∥1)L_{content} \frac{1}{HW} (\|ŤI_{ir} − I_{ir}\|_1 \|ŤI_{vis} − I_{vis}\|_1)LcontentHW1(∥TˇIir−Iir∥1∥TˇIvis−Ivis∥1)其中Iir和Ivis是编码器的输入图像ŤIir和ŤIvis是解码器的输出图像H和W表示它们的高度和宽度LG迫使特征ŤF具有更多重要特征以欺骗判别器LG(DF(TˇF)−a)2L_{G} (DF(ŤF) − a)^2LG(DF(TˇF)−a)2其中ŤF表示由编码器提取的ŤIir和ŤIvis的深度特征a1是真实标签。特征判别器DF试图区分从原始图像提取的特征和从重建图像提取的特征其损失函数LD设计为LD(DF(F)−a)2(DF(TˇF)−b)2L_{D} (DF(F) − a)^2 (DF(ŤF) − b)^2LD(DF(F)−a)2(DF(TˇF)−b)2其中b0是假标签。3.2.2 解码器的训练如图6所示在解码器的训练中编码器的参数被固定。解码器被训练以从编码器提取的重要特征中重建最终的融合图像。由于缺乏红外和可见光图像融合的地面实况使用MS-COCO中的自然图像训练解码器。为了使解码器能够从重要特征中的强度和纹理细节重建融合图像使用基于梯度和强度的融合损失LFusion训练解码器LFusion1HW(∥If−In∥F2μ∥∇If−∇In∥1)L_{Fusion} \frac{1}{HW} (\|I_f − I_n\|_F^2 \mu\|\nabla I_f − \nabla I_n\|_1)LFusionHW1(∥If−In∥F2μ∥∇If−∇In∥1)其中∇表示基于拉普拉斯算子的图像梯度参数μ控制梯度和像素强度之间的平衡。In和If分别是编码器的输入自然图像和解码器的输出融合图像。算法1显示了ERNet的完整训练过程。4. 实验结果4.1 实验设置ERNet的编码器和解码器使用LLVIP中的12 025对红外和可见光图像以及MS-COCO中的12 025张自然图像交替训练。图像在输入网络之前被调整为256×256大小。使用Adam优化器在GTX2080ti GPU上训练ERNet五个 epoch学习率为0.0001批量大小为8。从LLVIP测试集中选择50对红外和可见光图像来验证训练好的ERNet并使用这些图像选择最佳超参数λ和μ。最终训练好的ERNet使用LLVIP和TNO数据集中的其余图像进行测试。4.2 融合结果的比较本节将ERNet与七种最先进的方法进行比较包括传统方法MDLatLRR和六种深度学习方法FusionGAN、GAN-McC、DenseFuse、RFN_Nest、U2Fusion和SDNet。融合图像在八个客观评估指标方面进行了评估包括互信息MI、熵EN、视觉信息保真度VIF、标准差SD、差异相关和SCD、融合视觉信息保真度VIFF、非线性相关信息QNCIE和SSIM。4.2.1 在TNO数据集上的结果TNO1是红外和可见光图像融合最常用的数据集包括各种复杂场景中的对齐图像对。本实验选择了数据集中的21对进行比较。表I定量比较了TNO数据集上的八种方法。最佳和第二最佳方法分别用粗体和下划线标记。与其他模型相比ERNet在四个指标上取得了最佳结果MI、VIF、SD和QNCIE。结果表明ERNet融合结果包含原始图像的丰富信息MI和QNCIE更适合人眼的视觉感知VIF和高对比度SD。此外ERNet在所有其他指标中排名第三表明ERNet在保留源图像的结构信息VIFF和SSIM和包含丰富图像信息EN和SCD方面也具有可比的性能。4.2.2 在LLVIP数据集上的结果LLVIP是ICCV2021发布的最大红外和可见光图像数据集包含大量低光场景中的对齐高分辨率图像对。使用LLVIP数据集中的50对图像进行验证。由于红外和可见光图像之间存在巨大的域差异在低光场景中获得高质量的融合图像具有挑战性。表II总结了LLVIP数据集上八种方法的定量比较。与其他方法相比ERNet在五个指标上取得了最佳结果EN、VIF、SD、SCD和VIFF。结果表明在低光场景中ERNet融合图像可以包含更丰富的信息EN、更高的对比度SD、与原始图像更高的相关性SCD和VIFF并且比其他方法更适合人眼的视觉感知。此外ERNet在MI和QNCIE方面获得了第二最佳结果表明ERNet可以在低光场景中保留源图像信息与最佳模型相当。ERNet在SSIM指标上排名第七这是因为在低光场景中捕获的红外和可见光域之间存在显著差异而ERNet的融合结果包含两个源图像的重要域特定信息与单个源图像的结构、对比度和亮度有显著差异。4.3 消融研究为了说明所提出方法的重要性对ERNet进行了消融研究。首先使用验证集选择最佳模型然后在测试集上测试泛化性能。4.3.1 特征判别器为了说明所提出特征判别器的有效性主观和客观比较了没有LFE的ERNetw/o LFE、没有LG的ERNetw/o LG和ERNet。TNO上的客观比较表III表明ERNet在EN、VIF、SD、SCD、VIFF和SSIM方面显著改进了融合图像。同样在LLVIP数据集上除了SSIM外所有指标都获得了显著改进。这些表明特征判别器可以迫使编码器从源图像中提取重要特征并在低光环境中更好地保留有用信息。图12显示了在TNO数据集的街道和LLVIP数据集的典型图像对上使用和不使用特征判别器和内容损失的融合结果说明了特征判别器提取重要特征的有效性。如图12所示没有特征判别器的ERNet的融合结果更像是基于自编码器的网络的结果容易丢失红外图像的显著对象和可见光图像的细节。例如与其他消融结果相比ERNet在TNO的特征图更接近红外图像的特征图。同时ERNet在LLVIP上的融合结果完整保留了交通标志的轮廓结构。网络输出相对于输入的重要特征的相似性可以判断其在保留重要特征方面的性能。通过比较输入和输出图像的特征强度、特征梯度和特征相似性来证明特征判别器的有效性。如图13所示ERNet输入和输出图像的特征具有相似的对比度和梯度差异分别为0.0556和0.3404。相比之下没有判别器的ERNet获得的ŤF的强度和梯度显著低于输入特征F差异分别为9.2392和1.5399。还比较了输出和输入图像的提取特征之间的MI和SSIM与移除判别器相比ERNet在这两个指标上分别提高了0.3716和0.1609。这些结果表明经过对抗训练的ERNet可以在网络传播过程中保留源图像的重要信息。提取的特征如图14所示ERNet保留了源图像的重要特征而在移除判别器后输入和输出图像的特征出现显著差异。图13 TNO数据集街道上LG的消融研究。F和ŤF分别表示输入和输出图像的特征。第一行是ERNet特征的结果第二行是移除特征判别器DF的结果第三行是特征相似性比较。图14 不同ERNet提取的特征图的一些显著图。对于每个网络选择两个对应的特征图显示在第一列。第二列是输出的提取特征图。第三列显示输入图像和输出图像特征图之间的差异第四列显示它们的显著图。4.3.2 编码器和解码器通过主观和客观消融研究验证了编码器的特征提取性能和解码器的图像重建性能比较了仅编码器训练的ERNetERNet w/o LFusion、仅解码器训练的ERNetERNet w/o LFE和ERNet。如表IV所示与ERNet w/o LFE相比ERNet在TNO和LLVIP数据集上的所有指标上都取得了改进除了SSIMSSIM的结果相当。这表明编码器可以有效地提取源图像的重要特征MI、SCD和VIFF在TNO数据集上显著提高了0.292、0.2882和0.1392在LLVIP数据集上显著提高了0.8754、0.3925和0.3311。尽管ERNet w/o LFusion在TNO数据集上保留了更多信息EN、SD和VIFF但它没有图像重建性能难以生成适合人眼感知的融合图像。具体来说它直接在融合图像中保留了所有提取的信息而没有考虑两个域图像的互补信息。在LLVIP上ERNet在除SSIM外的所有指标上都取得了改进SSIM也有相当的结果表明解码器可以通过重要特征帮助生成适合人眼视觉的信息丰富的融合图像。编码器和解码器消融研究的融合结果如图15所示。从LLVIP图像上的绿色矩形可以看出ERNet w/o LFE缺乏提取重要特征的性能。其融合图像中的 foliage 难以与低对比度的背景区分。ERNet w/o LFusion缺乏图像重建性能导致融合结果不光滑边缘不清晰。相比之下ERNet融合结果具有完整的叶片结构和与背景的高对比度更符合人类视觉感知。4.3.3 融合策略ERNet的解码器将重建的红外和可见光图像相加并使用tanh函数将其转换为最终的融合图像。为了说明这种融合模式的有效性比较了ERNet中的五种融合模式包括平均、最大值、相加、卷积tanh和相加tanh。基于不同融合规则的ERNet融合结果如图16所示。平均规则丢失了显著对象卷积tanh规则使图像质量差。最大值融合规则保留了显著对象但其在LLVIP数据集上的融合结果过于接近红外图像。基于相加规则的融合结果的一些区域超过了像素阈值而基于相加tanh规则的融合结果保留了显著对象并具有更高的图像质量。不同融合规则的定量比较结果如表V所示使用相加tanh规则的ERNet在两个数据集上的所有指标上都获得了相当的结果在TNO上SSIM排名第三在LLVIP上SD排名第三。这表明相加tanh融合规则可以更好地与自编码器配合保留更多重要信息生成更高质量的融合图像并迫使网络正常工作。4.3.4 训练周期从头开始训练ERNet一、三、五、七和九个 epoch。表VI显示了五个ERNet模型在TNO和LLVIP上的融合结果。如表VI所示训练五个 epoch的ERNet在八个指标中的五个指标上取得了最佳结果。图17直观比较了不同 epoch训练的ERNet的融合结果。训练五个 epoch的ERNet融合结果具有清晰的道路边界和丰富的植物纹理细节。而较低的 epoch一或三个 epoch训练使对象不完整较高的 epoch七或九个 epoch训练在最终融合图像中引入了随机噪声。这些结果表明训练五个 epoch的ERNet是红外和可见光图像融合的最佳模型。4.3.5 超参数为了确定1和5中超参数λ和μ的最佳值在λ和μ0.05、0.5、5和50时训练和验证ERNet。表VII显示了不同超参数设置的ERNet在TNO和LLVIP数据集上的融合结果。总之λ0.5和μ5的ERNet取得了最佳融合结果。以LLVIP为例超参数设置λ和μ(0.5,5)在八个指标中获得了六个最佳指标。图18显示了各种超参数设置的ERNet的视觉融合结果。在图18中第一行显示原始红外和可见光图像第二行显示当μ5且λ从0.05到50变化时的融合结果第三行显示当λ0.5且μ从0.05到50变化时的融合结果。如图18所示当超参数λ或μ太小或太大时ERNet的融合图像会包含来自红外图像的随机噪声或丢失可见光图像中的纹理细节。使用λ0.5和μ5融合图像达到最佳性能。4.3.6 两阶段训练ERNet分两阶段训练以确保编码器和解码器能够实现预期性能并具有强大的联合工作性能。本节评估一阶段训练与两阶段训练其中一阶段训练表示使用损失函数Lone-stage同时更新编码器和解码器的权重如下所示Lone-stage LFE LFusion (6)其中LFE和LFusion与编码器和解码器训练部分中相同。如图19Kaptein_1654所示一阶段训练的ERNet的融合图像在红外图像的红色框中丢失了像素强度而两阶段训练可以保留。如图19中的绿色框所示两阶段ERNet在LLVIP上的融合结果可以保留红外图像的手部结构和亮度信息。在一阶段训练中ERNet的编码器和解码器在训练过程中相互约束导致次优结果。绿色框中人类手部的亮度信息丢失。表VIII比较了一阶段和两阶段ERNet的性能显示了两阶段训练在TNO和LLVIP数据集上的优异性能。4.3.7 捷径路径为了说明ERNet中SCP的有效性训练了带有SCPw/ SCP或没有SCPw/o SCP的ERNet。表IX显示了它们在TNO和LLVIP上的融合结果。如表IX所示SCP可以明显提高ERNet的融合性能。以LLVIP为例带有SCP的ERNet在所有八个指标上都取得了更好的结果。SCP显著提高了ERNet在VIF上的性能因为SCP可以将纹理细节补充到最终的融合图像中。图20显示了带有和不带有SCP的ERNet融合的两个示例图像。在图20中前两列显示原始红外和可见光图像最后两列显示带有和不带有SCP的ERNet的融合结果。如图20所示SCP可以帮助ERNet融合细节信息例如人的边界。4.4 在目标检测中的应用为了进一步说明ERNet在红外和可见光图像融合上的效率使用YOLOv3在ERNet和两种先前的基于GAN的融合方法FusionGAN和GANMcC的融合图像上进行目标检测。手动检测了来自LLVIP的50对红外和可见光图像中的三类对象人、汽车和自行车作为地面实况来评估各种融合图像上的检测器。4.4.1 定量结果表X显示了检测器在原始红外和可见光图像以及三种融合方法的融合图像上的检测结果。在表X中mAP表示检测图像中三类的平均精度的平均值。如表X所示检测器在ERNet的融合图像上取得了最佳检测性能mAP0.636至少提高了2.6%。与在原始红外和可见光图像上的检测性能相比先前的融合方法FusionGAN和GANMcC仅提高了人类别的检测性能而ERNet还提高了汽车类别的性能。总之ERNet可以提高检测性能并且对于检测任务比先前的融合方法更有效。4.4.2 定性结果图21直观显示了检测结果的示例。在图21中第一行显示了手动检测和YOLOv3在红外和可见光图像上的检测结果第二行显示了YOLOv3在FusionGAN、GANMcC和ERNet的融合图像上的检测结果。如图21所示在FusionGAN和GANMcC的融合图像上检测器的性能甚至不如在原始可见光图像上的性能而检测器在ERNet的融合图像上表现最佳。例如检测器在FusionGAN和GANMcC的融合图像上错过了一辆或两辆自行车和汽车而检测器在ERNet的融合图像上检测到了所有这些目标对象。4.5 MRI和PET图像融合医学图像融合旨在保留来自多模态医学图像的有价值信息生成适合人眼感知和自动检测的融合图像。MRI提供软组织信息而PET图像可以确定分子活性水平用于检查肿瘤等疾病。然而PET图像的分辨率较差。MRI和PET图像融合旨在保留MRI的高质量细节和PET的颜色信息。本节在哈佛医学院数据集上评估了ERNet用于PET和MRI图像融合的性能。选择了252对PET和MRI图像使用128×128窗口裁剪获得30 492张图像然后调整为256×256大小。这些图像用于训练编码器。使用相同数量的来自MS-COCO的图像训练解码器。医学图像融合的ERNet超参数与实验设置部分相同除了epoch9。主观和客观比较了ERNet与其他四种医学图像融合方法包括DenseFuse、RFN_Nest、U2Fusion和SDNet。客观评估指标包括MI、EN、VIF、SD、SCD、VIFF、QNCIE和SSIM。表XI显示了五种方法在医学图像融合上的定量比较结果。ERNet在所有指标上都取得了最佳结果表明ERNet可以有效地融合PET和MRI图像保留两者的重要信息。图22显示了五种方法的融合结果。ERNet的融合结果保留了MRI的高质量细节和PET的颜色信息比其他方法更清晰。例如ERNet的融合结果中肿瘤区域的边界更清晰有助于医生的诊断。5. 结论本文提出了一种基于自编码器的网络——提取与重建网络ERNet用于红外和可见光图像融合。ERNet在两阶段训练中分别优化编码器和解码器以解决传统自编码器网络和基于GAN的网络在图像融合中的问题。具体来说ERNet的编码器通过在特征域中进行对抗学习来训练使用红外和可见光图像强制提取重要特征。解码器使用自然图像进行训练以实现稳定重建。此外设计了一个特征判别器在特征域中工作避免了不稳定的对抗学习对融合性能的影响。实验结果表明ERNet在TNO和LLVIP数据集上的融合性能优于七种最先进的方法。消融研究验证了所提出方法的各个组件的有效性包括特征判别器、编码器和解码器、融合策略、训练周期、超参数、两阶段训练和捷径路径。此外ERNet在目标检测任务中也表现出优越的性能并且可以成功应用于医学图像融合。未来的工作将包括1将ERNet扩展到其他多模态融合任务如多光谱图像融合和视频融合2进一步优化ERNet的架构和训练策略以提高融合性能和效率3探索ERNet在其他计算机视觉任务中的应用如目标跟踪和语义分割。