研究人员推出了一种新颖的机制——首段注意力（First Passage Attention, FPA），旨在改进语言模型处理文本中长距离依赖关系的方式。与对路径上的贡献进行求和的传统方法不同，FPA使用路径极值选择性地擦除中间上下文，同时保留重要的早期标记。这种方法是对遗忘Transformer（Forgetting Transformer, FoX）的泛化，能够实现更高效的内存管理，并在扩展序列中更好地检索特定信息。实验表明，FPA在合成任务中优于同类模型，并且在大语言模型中即使在压缩的键值缓存下也能实现完美的通行密钥检索。 AI
影响 引入了一种新颖的注意力机制，有望改进LLM中的长上下文处理和信息检索。
排序理由 介绍新模型架构的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
