attention block

Transformer 架构精确实现 k-means 聚类算法

一篇新的研究论文详细介绍了一种“k-means transformer”架构的创建，该架构可以精确执行 k-means 聚类的 Lloyd 算法。该研究从理论上证明并通过实证表明，像注意力块和残差连接这样的标准 transformer 机制可以实例化这种精确的算法例程。此外，研究表明该架构可以学习和泛化聚类任务，在某些情况下甚至优于传统的 Lloyd 算法，并且可以修改以实现软 k-means 和球形 k-means 等变体。