实体
Haiquan Qiu
Haiquan Qiu
PulseAugur coverage of Haiquan Qiu — every cluster mentioning Haiquan Qiu across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的GUMP框架通过酉传播稳定图神经网络
研究人员推出了一种名为图酉消息传递（GUMP）的新型框架，旨在稳定深度神经网络，尤其是在图神经网络（GNNs）领域。GUMP通过在变换后的图上采用酉传播算子，解决了可学习参数和图传播算子均引起的稳定性问题。这种方法结合了图变换和酉投影程序，理论上确保了图传播项的深度稳定性，这与标准归一化传播中指数衰减的现象形成对比。在各种数据集上的实证结果表明，GUMP的性能优于标准的图消息传递方法，并且与其他强大的基线方法相比具有竞争力。
-
Flash Attention低精度训练不稳定的解释
一篇新论文分析了使用低精度格式和Flash Attention训练Transformer模型为何会导致训练不稳定和损失爆炸。研究确定了两个关键因素：注意力机制中出现相似的低秩表示，以及低精度算术中累积的偏置舍入误差的复合效应。这些现象会产生一个错误累积的循环，从而破坏权重更新。作者提出对Flash Attention进行微小修改，以减轻舍入偏差，从而稳定训练并证实了他们的分析。