近日,od体育官网计算机工程学院郑翔天博士以第一作者、通讯作者,od体育网页登录入口为第一署名单位,在国际权威期刊《Information Fusion》发表最新研究成果:Multi-modal person re-identification based on transformer relational regularization。该期刊是Elsevier出版社旗下的顶级期刊,为计算机科学中科院一区TOP期刊,致力于报道计算机科学取得的突破性进展,涉及领域包括计算机、人工智能、信息融合和感知与决策技术等,影响因子为18.6。
多模态人员重识别是一种重要的计算机视觉问题,旨在跨越不同传感器模态下的摄像头,识别并匹配同一人员。多模态人员重识别技术在公共安全场景应用中具有重要意义。然而,当前方法往往忽视了在特征融合阶段模态之间的相关性,导致在低光或夜晚环境中的表现不佳。为了解决这一问题,作者与安全探测创新团队提出了一种名为(Transformer Relation Regularization, 简称TRR)的新型多模态人员重识别方法。TRR方法首先引入了自适应协作匹配模块,通过挖掘不同模态之间的特征对应关系,促进有用信息的交换,从而实现了对互补信息的整合,增强了重识别性能。其次,提出了增强嵌入模块,利用各模态内部的判别信息来纠正一般信息,提高了模型在复杂多模态环境中的稳定性。最后,设计了自适应三重损失,以提高样本利用效率,并缓解多模态样本之间不一致表示的问题,优化了模型区分不同个体的能力,从而提高了重识别准确性。作者团队在多个具有挑战性的可见-红外人员重识别基准数据集上进行了实验,结果表明,所提出的TRR方法实现了最佳性能。此外,广泛的消融研究验证了每个组件对整体模型的有效贡献。综上所述,TRR方法有效地利用互补信息,解决了模态间相关性,并在多模态场景下改善了重识别性能。
文章信息:
Zheng Xiangtian, Huang Xiaohua, Ji Chen, et al. Multi-modal person re-identification based on transformer relational regularization[J]. Information Fusion, 2024, 103: 102128. DOI: 10.1016/j.inffus.2023.102128
主题:有效利用不同模态之间的互补信息和约束关系