论文题目:Dynamic Brightness Adaptation for Robust Multi-modal Image Fusion
作者:孙一铭(博士研究生),曹兵,朱鹏飞,胡清华

论文概述:红外和可见光图像融合旨在结合不同模态的优势特征生成信息丰富的新图像。在现实场景中,可见光模态容易受到环境亮度动态波动的影响,从而呈现过亮或过暗导致图像纹理退化。现有的融合方法难以在动态亮度扰动下实现鲁棒融合,导致融合结果不可避免地受到亮度波动的影响,这极大地降低了融合图像的视觉保真度。因此,在实际应用中红外和可见光图像融合模型应具备鲁棒的自适应能力,以应对环境亮度的变化。本文提出了一种亮度自适应图像动态融合框架,称为BA-Fusion,以适应亮度变化并在动态环境亮度下实现鲁棒的多模态图像融合。具体来说,本文提出了亮度自适应门控(Brightness Adaptive Gate, BAG)模块,用于学习对亮度信息的感知,进而动态选择出亮度相关通道进行归一化以消除亮度干扰,同时保留亮度无关通道中的结构特征信息。为了训练BAG模块,本文设计了一个亮度一致性损失函数,约束动态亮度扰动下融合图像的亮度保持一致。通过交替训练策略,BAG模块逐渐建立了亮度变化与特征通道之间的联系,使得提出的BA-Fusion具有亮度自适应的鲁棒多模态图像融合能力。大量的实验表明,本文方法在保留多模态图像丰富的信息和视觉保真度方面优于最先进的对比方法,并且所提出的模型在不同亮度水平下也表现出最鲁棒的性能。

BA-Fusion的框架图
BA-Fusion在LLVIP数据集上的定性对比
BA-Fusion在M3FD数据集上的定性对比
BA-Fusion在TNO数据集上的泛化对比
BA-Fusion的检测效果可视化对比