PulseAugur
中
实时 02:04:48
实体 Giansalvo Cirrincione

Giansalvo Cirrincione

PulseAugur coverage of Giansalvo Cirrincione — every cluster mentioning Giansalvo Cirrincione across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_06236 ·

    研究人员分析 Transformer 表征坍塌并提出新补救措施

    一篇新论文分析了 Transformer 模型中的表征坍塌，挑战了之前关于 MLP 和层归一化作用的发现。研究阐明，虽然层归一化保留了仿射秩，但残差连接可以在没有 MLP 的情况下防止秩坍塌。该论文还确定了多头注意力中一个独特的头-通道不可识别问题，并提出了一种位置门控输出投影作为部分解决方案。