在智能系统中,存在多种多样的传感器,实现对于外部世界的持续感知。众多异构传感器从不同的视角和测度反映了感知对象的状态。传统的异构数据融合多采用多特征加权拼接的方式进行特征融合,易引入大量低质冗余的特征信息。同时,高维度的特征数据往往导致模型复杂度急剧提高,形成巨大的计算开销和内存载荷。为了实现高效精准的数据融合,课题研究面向多视图的数据融合模型,依赖多视图间的时空交互关系,实现有效的数据融合。
针对多视图数据,首先提出了时间注意力机制和空间注意力机制。时间注意力机制面向单一视图学习视图中局部特征的先后依赖关系;空间注意力机制研究多个视图动态交互关系,挖掘多视图之间的隐语义。然后重点研究了时间注意力机制和空间注意力的拼接组合机制(并联方式与串联方式)。通过对比分析实验,研究表明时空注意力的串联连接具有更好识别正确率。
该成果目前已经在国际期刊Information Sciences发表。Information Sciences影响因子为11.3,是CCF B类期刊。