EmambaIR:事件引导图像重建的高效状态空间模型

精选理由

该工作为状态空间模型在高分辨率事件相机图像重建中提供了高效可行的方案,有助于推动实时视觉系统与边缘计算部署。

AI 摘要

针对传统CNN和ViT在事件相机图像重建中的局限性(CNN缺乏全局相关性,ViT计算复杂度随分辨率平方增长),研究者提出EmambaIR框架。该框架融合跨模态Top-K稀疏注意力(TSAM)和门控状态空间模块(GSSM),在保持线性计算复杂度的同时捕捉全局依赖。在运动去模糊、去雨和HDR增强三个任务的6个数据集上,EmambaIR以更低内存和计算成本超越现有最先进方法。代码已开源。

AI 翻译 · 中文

针对传统CNN和ViT在事件相机图像重建中的局限性(CNN缺乏全局相关性,ViT计算复杂度随分辨率平方增长),研究者提出EmambaIR框架。该框架融合跨模态Top-K稀疏注意力(TSAM)和门控状态空间模块(GSSM),在保持线性计算复杂度的同时捕捉全局依赖。在运动去模糊、去雨和HDR增强三个任务的6个数据集上,EmambaIR以更低内存和计算成本超越现有最先进方法。代码已开源。