Transformer 架构精确实现 k-means 聚类算法

一篇新的研究论文详细介绍了一种“k-means transformer”架构的创建，该架构可以精确执行 k-means 聚类的 Lloyd 算法。该研究从理论上证明并通过实证表明，像注意力块和残差连接这样的标准 transformer 机制可以实例化这种精确的算法例程。此外，研究表明该架构可以学习和泛化聚类任务，在某些情况下甚至优于传统的 Lloyd 算法，并且可以修改以实现软 k-means 和球形 k-means 等变体。 AI

影响 证明了 transformer 可以执行精确算法，可能将其应用范围从统计建模扩展开来。

排序理由 学术论文，详细介绍了一种实现特定算法的新颖架构。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• attention block
• feed-forward block
• k-means clustering
• k-means transformer
• Lloyd's algorithm
• Parikshit Ram
• Residual Connections
• soft k-means
• Transformer++

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →