研究人员通过常微分方程(ODE)的视角重新诠释了Transformer解码器的迭代细化过程,开发了一种新颖的手语翻译方法。该方法用高阶数值积分方案(如Runge--Kutta方法(RK-2和RK-4))取代了标准的残差细化更新。这些受ODE启发的动力学在不增加模型大小的情况下增强了表示更新,为扩展模型容量提供了一种参数高效的替代方案。在PHOENIX-2014-T和CSL-Daily数据集上的实验表明,RK-2的性能优于IPSLT基线,在更少的解码器层和细化迭代次数下实现了翻译性能的提升。 AI
影响 引入了一种参数高效的方法来改进手语翻译模型,有可能降低计算成本。
排序理由 介绍手语翻译新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- CSL-Daily
- Hacer Yalim Keles
- IPSLT
- ordinary differential equation
- PHOENIX-2014-T
- RK-4
- Runge--Kutta methods
- Transformer
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →