研究人员推出了一种新颖的循环序列混合器 Kernel Ridge Attention (KRA),旨在增强非线性特征学习和记忆更新。KRA 利用递归岭回归和过去键之间的相关性来管理新观测如何修改记忆,并结合了内容相关的转换以实现保留和不确定性恢复。这种方法允许精确的时间核解释,并保持与上下文长度无关的推理状态,在语言建模实验中显示出比现有注意力和循环方法更高的预测质量和联想回忆能力。 AI
影响 引入了一种新的序列建模方法,有望提高语言任务的性能。
排序理由 该项目是一篇详细介绍新模型架构的学术论文。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →