TTT-MLP

新研究分析了测试时训练（TTT）层中的错误校正

Yuhe Hu及其同事在arXiv上发表的一篇新论文深入探讨了测试时训练（TTT）层中错误校正的机制，TTT层是快速权重记忆系统的一个组成部分。该研究分析了预测驱动的更新在TTT实现中的功能，特别是对于基于点积和LayerNorm的目标。研究确定了一个在特定条件下会抵消的预测驱动分量，并量化了其对模型性能的影响，表明移除该分量会显著改变“战争与和平”等大型文本数据集上的困惑度指标。