实体
Layer Normalization
Layer Normalization
PulseAugur coverage of Layer Normalization — every cluster mentioning Layer Normalization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
关系
最近 · 第 1/1 页 · 共 2 条
-
新的硬件设计为边缘AI提供高效的Softmax和LayerNorm
研究人员开发了用于Transformer模型在边缘设备上运行的、硬件高效的Softmax和Layer Normalization的近似方法。这些方法确保了保证归一化，这对于边缘NLP和生成式AI应用中以得分为导向的任务至关重要。所提出的架构采用Verilog HDL实现，并在28nm CMOS工艺上合成，与现有解决方案相比，其精度下降极小，面积也显著减小。
-
Researchers analyze Transformer representational collapse and propose new remedies
A new paper analyzes representational collapse in Transformer models, challenging previous findings about the role of MLPs and Layer Normalization. The research clarifies that while Layer Normalization preserves affine …