FlashSigmoid

Sigmoid attention 改进了生物基础模型，实现了更快、更稳定的训练

研究人员开发了一种名为 Sigmoid Attention 的新注意力机制，该机制在训练生物基础模型方面提供了显著改进。与传统的 softmax attention 相比，这种新颖的方法能够学习到更好的表示，实现高出 25% 的细胞类型分离度和更高的内聚度指标。此外，Sigmoid Attention 能够实现更快的训练，模型完成速度最多可提高 10%，并通过缓解 softmax attention 中固有的问题来增强稳定性。该团队还…