激光与红外

作者：耿礼智

单位：云南大学 信息学院,云南 昆明 650500；

关键词：热红外目标跟踪;多分支;自适应融合;可逆结构

基金：国家自然科学基金项目(No.62066047；No.61966037)；云南大学专业学位研究生实践创新基金项目(No.ZC-23234092)资助。

由于可见光和红外图像具有很强的互补性,越来越多的关注集中在通过这两种模态的联合信息进行跟踪。然而,在现有的跟踪算法中,不能有效地学习两者的互补信息并挖掘模态特定特征,这限制了跟踪器的性能。因此,本文提出了一种可逆多分支的双模态自适应融合跟踪网络。首先,设计了一个三分支结构网络,分别用于学习热红外、可见光以及它们的通用特征。这不仅充分利用了两种模态之间的共享信息,还保留了红外和可见光数据之间的差异特性以及丰富的细节信息。此外,还引入了一个模态特征交互模块,以自适应地挖掘模态之间的互补信息并滤除冗余信息。通过在多个公开数据集上进行大量实验证明了该跟踪器的有效性,尤其在面对尺度变化、镜头抖动、遮挡等环境时,表现出卓越的抗干扰能力。

来源：2024年第11期

《激光与红外》期刊编辑部

查看激光与红外杂志2024年第11期