innsikt - 计算机视觉
离线跟踪与物体持久性
提出一种离线跟踪模型,利用物体持久性的概念来有效恢复被遮挡的物体轨迹。该模型包括标准在线跟踪器、重识别模块和轨迹补全模块,利用地图信息作为先验知识来改善关联和轨迹补全。
低光条件下遥感图像增强的空间频域特征融合网络
提出一种双域特征融合网络(DFFN)来有效增强低光遥感图像,通过将复杂的降质问题分解为两个相对较易解决的子问题,并设计信息融合仿射模块(IFAM)来增强跨阶段、跨尺度和跨域的信息交互能力。
生物灵感的鹰视觉变换器:双中央窝自注意力机制
提出了一种新颖的双中央窝自注意力机制(Bi-Fovea Self-Attention, BFSA),模拟了鹰眼的生理结构和视觉特性,使网络能够从粗到细地学习目标的特征表示。此外,设计了一种生物灵感的鹰视觉(Bionic Eagle Vision, BEV)模块,结合了卷积和BFSA的优势,并引入了一种新颖的双中央窝前馈网络(Bi-Fovea Feedforward Network, BFFN)来模拟生物视觉皮层的信息处理方式。基于此,提出了一个统一高效的金字塔骨干网络家族,称为鹰视觉变换器(Eagle Vision Transformers, EViTs),在计算效率和性能方面显示出显著的竞争优势。
跨模态融合网络与情感转移感知用于对话情感识别
提出了一种跨模态融合网络CFN-ESA,能够有效地从多模态数据中提取互补信息,并利用情感转移模块来指导主任务学习,从而显著提高了对话情感识别的性能。
深度学习远程感知图像变化检测的新方法：引入变化先验指导多尺度特征融合
提出了一种变化引导网络(CGNet)，利用从深层特征生成的变化引导图作为先验信息来指导多尺度特征融合,从而更有效地提取变化特征,解决了传统U-Net结构中变化特征表达不足导致的边缘不完整和内部空洞问题。