Multiclass One-Nearest Neighbor

单层Transformer可被证明学习多类别一近邻分类器

arXiv上发表的一篇新论文详细介绍了单层Transformer如何可被证明地学习多类别一近邻分类器。研究人员利用单纯形编码（simplex encoding）证明，这些Transformer与argmax分类头（argmax classification head）配对时，在多类别场景下与一近邻分类器功能相同。这项工作通过采用标准的argmax头而非非标准的基于舍入的方法，解决了先前研究中的一个局限性。