PtrR

Luma Labs 详解多模态序列处理创新

Luma Labs 发布了其在高效多模态序列处理方面（尤其是在打包序列方面）的进展细节。他们开发了提高性能和降低计算开销的技术，例如稀疏全连接获取机制和保持 FP32 精度的在线 FlashAttention-4 内核。这些创新实现了更快的处理速度和更好的扩展性，他们的新方法在大多数测试场景中均优于 FlashMask 和 Ulysses 等现有方法。