研究人员开发了递归二次滤波器(RQF),一种新型复值时间滤波器,以改进深度连续时间循环网络中的学习。这些滤波器受生物机制启发,充当具有可调频率和带宽的带通滤波器。通过使每一层的输入前瞻性,该方法减轻了深度网络堆栈中的梯度衰减,尤其是在使用仅空间反向传播时。评估表明,RQF变体在各种模型和任务上匹配或超越了其非前瞻性对应物,包括在Speech Commands数据集上以参数高效的RQF实现了高精度。 AI
影响 引入了一种新颖的滤波技术,可以提高循环神经网络在序列处理任务中的效率和性能。
排序理由 该集群包含一篇详细介绍改进深度学习模型的新方法的学术论文。
在 arXiv cs.NE (Neural & Evolutionary) 阅读 →
- arXiv
- Deep Continuous-Time Recurrent Networks
- Hugging Face
- Path-X
- Recursive Quadrature Filters
- RQFs
- Speech Commands
- State Space Models
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →