next-token cross-moment

Transformer架构由统计力学和信息论解释

一篇新的研究论文提出，Transformer架构（现代AI的基础元素）可以从统计力学和信息论的基本原理中推导出来。该研究表明，当以最小化信息损失并捕捉标记之间的统计关系为目标时，Transformer架构作为建模语言的最优解而出现。这一理论框架将语言建模与熵和最大熵原理等概念联系起来，从而更深入地理解了基于Transformer的模型为何如此有效。