MSFET-E2V

新的Transformer模型提升事件到视频重建质量

研究人员开发了一种名为MSFET-E2V的新模型用于事件到视频重建，旨在将事件相机产生的异步事件流转换为密集的视频帧。这种新颖的多尺度频率增强Transformer模型利用跨域注意力模块，融合了时空特征和从离散小波变换获得的频率感知表示。该方法通过考虑低频和高频分量来增强细节保留和鲁棒性，并包含一个用于伪影抑制的小波增强跳跃块。实验表明，MSFET-E2V在重建质量上优于现有的最先进方法，同时还减少了参数、内存使用和推理时间。