实体 Matthijs Douze

Matthijs Douze

PulseAugur coverage of Matthijs Douze — every cluster mentioning Matthijs Douze across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_16225 · May 5 · 04:00

短窗口注意力提升AI模型的长期记忆能力

研究人员开发了一种结合滑动窗口注意力和xLSTM层的混合架构，以提高AI模型的长期记忆能力。他们的研究结果表明，令人惊讶的是，更大的滑动窗口会阻碍长上下文性能，因为它迫使模型更好地训练xLSTM的长期记忆。为了优化这一点，他们提出使用随机变化的窗口大小进行训练，这显著提高了模型在短上下文和长上下文任务上的性能。