实体
Marios Papamichalis
Marios Papamichalis
PulseAugur coverage of Marios Papamichalis — every cluster mentioning Marios Papamichalis across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Transformer注意力分析方法分离了sink token的影响
一篇新的研究论文提出了一种方法来更好地分析Transformer模型中的注意力矩阵。该论文强调，标准的比较工具可能会产生矛盾的结果，这取决于是否包含或排除“sink”token。通过将注意力行视为组合数据，并将sink项与内容项分开，研究人员可以获得更准确的见解。这种方法表明，训练过程中观察到的许多熵崩溃是由于sink token的增长，而不是注意力的锐化。
-
新方法修复流形上生成模型的半径失真
研究人员开发了一种名为径向补偿（RC）的新方法，以解决在黎曼流形上运行的生成模型中的失真问题。标准方法将样本从欧几里得切空间映射到流形，这会改变距离解释。RC 引入了一个特定的基分布，该分布保留了测地线径向似然和切空间各向同性，从而实现了更稳定的训练和更清晰的曲率估计。通过将统计意义与数值条件分离开来，该技术在流形变分自编码器和连续归一化流方面取得了改进。