Making Transformers Sing

Latent Space 播客探讨 Suno 和 FlashAttention 2 的 Transformer 进展

Latent Space 播客（也称为 The AI Engineer Podcast）讨论了 Transformer 模型方面的进展。其中一集重点介绍了 Suno 及其与 Mikey Shulman 的合作，另一集则重点介绍了 Tri Dao 在 FlashAttention 2 方面的贡献，该技术在不进行近似的情况下显著提高了 Transformer 的性能。