tin-125m

自我生成反馈破坏 AI 模型测试时训练

研究人员发现，测试时训练（TTT）中存在一个关键问题，即模型从自身生成输出来学习可能导致在独立数据上的性能下降。这种现象在包括 Qwen3-4B 在内的各种模型大小和配置中都有观察到，表明虽然写作本身不是失败原因，但基于自生成文本更新模型权重的过程可能导致重大的预测错误。该研究提出了解决方案，例如使用冻结模型进行生成，或使用“结算”机制在提交更新之前在独立文本上验证更新，这可以在保留适应能力的同时显著减少损害。