Mean-Field Transformers

Mean-field transformers show concentration phenomena at low temperatures

研究人员发表了一篇论文，详细介绍了均场Transformer中的浓度现象，特别是在推理的低温环境下分析其行为。该研究使用均场连续性方程来模拟token演化，并证明了token分布在Transformer矩阵诱导的投影映射下会迅速集中。这种集中在适度时间内保持亚稳态，其Wasserstein距离与温度和推理时间相关。