研究人员推出 KronLSTM,这是一种利用克罗内克三角函数规则进行稳定联想记忆更新的新型线性注意力架构。该方法通过在对现有信息干扰最小的情况下进行精确记忆校正,增强了长上下文建模能力。实验表明,KronLSTM 在需要长上下文的任务上,性能与现有的线性注意力模型相当,甚至常常超越它们。 AI
影响 这种新的记忆架构可以显著提高 AI 在长上下文场景下处理和保留信息的能力,尤其有利于机器人和具身 AI 应用。
排序理由 该集群描述了一篇介绍新型 AI 架构和方法的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- DeltaNet
- embodied artificial intelligence
- Hugging Face
- Kronecker Delta Rule
- KronLSTM
- NX-AI
- NX-AI/KronLSTM-1.5B-100B-32k
- xLSTM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →