实体
Attention Residuals
Attention Residuals
PulseAugur coverage of Attention Residuals — every cluster mentioning Attention Residuals across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
Delta Attention Residuals 改进神经网络路由和性能
研究人员推出了一种新颖的神经网络残差连接升级方法——Delta Attention Residuals，它改进了跨层路由。该方法通过隐藏状态的差值而非累积状态本身进行路由，有助于防止深层网络的路由崩溃。该技术已在各种模型规模上持续提高困惑度，并且可以通过对预训练模型进行最小参数开销的即插即用微调来应用。
-
新的多门残差架构在无通信开销的情况下稳定激活
研究人员推出了一种新颖的架构——多门残差（MGR），旨在稳定深度残差层中的激活尺度，而无需像注意力残差那样产生通信开销。MGR采用评分和门控机制来管理多流上下文，并使用注意力池化来提取隐藏状态。所提出的方法已被证明适用于大规模训练和部署，并在现有架构上展现出性能提升。
-
Moonshot AI 推出 Attention Residuals 以实现高效 Transformer 扩展
Moonshot AI 推出了一种名为 Attention Residuals 的新架构技术，旨在提高 Transformer 模型的效率。这项创新用一种面向深度的（depth-focused）方法取代了传统的固定残差连接，有望为大型语言模型提供更好的扩展能力。该开发被定位为 Transformer 架构的重大进步，可能彻底改变 LLM 的性能。