PulseAugur
中
实时 13:14:59
实体 Short-Window Weariness

Short-Window Weariness

PulseAugur coverage of Short-Window Weariness — every cluster mentioning Short-Window Weariness across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_286843 ·

    新研究详解LLM混合注意力机制，提升长上下文性能

    一篇新研究论文《长上下文混合模型机制 第1.1部分》探讨了大型语言模型（LLMs）中混合注意力机制在处理长上下文方面的有效性。研究发现了一种“跷跷板效应”，即线性注意力混合模型从预训练中获益更多，而滑动窗口注意力混合模型在长度外推方面表现更佳。该论文还引入了“滑动窗口线性注意力”，据称该模型实现了16倍的无训练长度外推，同时保持了高精度。