研究人员开发了一个决策理论框架，用于理解和改进测试时训练（TTT），这是一种将预训练模型适应特定提示的方法。新方法将TTT视为隐式贝叶斯推理，揭示了其有效性取决于更新是否与提示的信噪比相匹配以及是否与查询相关方向一致。这种理论视角解释了TTT的不稳定性，并为选择更新步骤和模型组件（如Transformer块和头）提供了原则性指导，以提高准确性并防止过拟合。 AI
影响 为提高测试时训练的稳定性和有效性提供了理论基础，可能带来更鲁棒的模型适应。
排序理由 该集群包含一篇发表在arXiv上的学术论文，详细介绍了测试时训练的新理论框架。
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gaussian process
- Gotit.pub
- Hugging Face
- IArxiv
- Influence Flower
- PAC-bayesian learning
- ScienceCast
- transformer
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →