PulseAugur
中
实时 08:33:24
实体 Multi-Gate Residuals

Multi-Gate Residuals

PulseAugur coverage of Multi-Gate Residuals — every cluster mentioning Multi-Gate Residuals across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_48754 ·

    新的多门残差架构在无通信开销的情况下稳定激活

    研究人员推出了一种新颖的架构——多门残差（MGR），旨在稳定深度残差层中的激活尺度，而无需像注意力残差那样产生通信开销。MGR采用评分和门控机制来管理多流上下文，并使用注意力池化来提取隐藏状态。所提出的方法已被证明适用于大规模训练和部署，并在现有架构上展现出性能提升。