Kento Kuwataka

测试时间训练提升了 Transformer 的上下文学习能力，理论表明

研究人员从理论上分析了测试时间训练（TTT）如何增强单层 Transformer 中非线性函数的上下文学习（ICL）能力。该研究聚焦于单索引模型，证明了 TTT 使这些 Transformer 能够适应特征向量和链接函数的偏移，而 ICL 本身难以做到这一点。研究结果表明，随着上下文大小和网络宽度的增加，预测误差可以接近噪声水平，这表明更大的模型和更多的数据可以提高性能。