Motiongate

Transformer 头和运动门对 CorrNet CSLR 没有增益

一项新的实证研究调查了 CorrNet 模型在连续手语识别 (CSLR) 方面的增强。研究人员发现，用 Transformer 编码器替换 BiLSTM 时间头并未提高性能，且计算成本相似。此外，一个旨在注入运动线索的提议的 MotionGate 模块，始终默认为身份映射，表明与 CorrNet 现有的基于相关性的编码器存在冗余。