激光与红外

作者：陈从平

单位：1.常州大学机械与轨道交通学院,江苏 常州 213164；2.常州大学材料科学与工程学院,江苏 常州 213164；

关键词：图像融合;Transformer;特征交互;自适应融合;跨尺度

基金：江苏省产业前瞻与关键核心技术-碳达峰碳中和科技创新专项资金项目(No.BE2022044)资助。

在图像融合领域,现有的基于卷积神经网络(CNN)或Transformer架构的方法存在两个局限性:首先,浅层纹理特征与深层语义特征之间无法有效聚合；其次,红外与可见光特征的权重比例无法自适应变化。本文提出一种引入特征交互的红外与可见光图像自适应融合方法。首先,构建一种基于Transformer的特征交互模块,聚合跨尺度特征信息,增强特征表达能力。其次,设计一种融合模块,自适应地调整特征权重比例。所提出的融合方法通过两阶段训练策略完成。第一个阶段,应用创新的特征交互概念训练编码器,增强特征表达,重建特征图像。第二个阶段,基于设计的权重自适应调整模块训练红外与可见光特征融合任务。公开数据集的实验结果表明,与现有方法相比,本方法在主观和客观的评价方面均优于其他典型方法。

来源：2023年第7期

《激光与红外》期刊编辑部

查看激光与红外杂志2023年第7期