实体
Stochastic Attention
Stochastic Attention
PulseAugur coverage of Stochastic Attention — every cluster mentioning Stochastic Attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
最近 · 第 1/1 页 · 共 2 条
-
研究人员探索用于大型语言模型的新型注意力机制和优化技术
研究人员正在探索新颖的注意力机制，以克服 transformer 中标准自注意力机制的二次复杂度，尤其是在长上下文处理方面。几篇论文介绍了诸如 Lighthouse Attention（用于高效预训练）、Robust Filter Attention（将注意力视为状态估计）以及受神经连接组启发的 Stochastic Attention（以提高表达能力）等方法。其他工作则侧重于通过稀疏注意力的提前停止（S2O）等技术优化注意力的计算足…
-
Stochastic Attention enhances scientific models with calibrated uncertainty
Researchers have introduced Stochastic Attention, a novel method to enhance the reliability of scientific foundation models. This technique modifies existing Transformer architectures by introducing randomness during in…