研究发现语言模型可在推理过程中学习

一篇新的研究论文探讨了语言模型在推理过程中学习的概念，这一过程被称为动态评估。研究发现，当标准 softmax-attention 模型在文本块上执行梯度步骤时，其下一个 token 损失显著降低，并且在长上下文基准测试中优于冻结模型。然而，这种适应性主要提高了风格和词汇回忆能力，而非事实检索能力。对于掩码扩散模型，适应性更为明显，带来了实质性的提升。研究还表明，通过将模型自身的结论条件判断蒸馏到一个低秩适配器中，在 GSM8K 等任务上的性能可以匹配上下文学习的上限，而不会损失准确性。 AI

影响 表明模型有可能通过推理过程中的学习来提高长上下文任务的性能，尽管事实回忆仍然是一个挑战。

排序理由 研究论文，详细介绍了语言模型在推理过程中适应性的新发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• BABILong
• ContractNLI
• DiffusionGemma 26B
• Gemma 4 E4B
• Gradient Adaptation
• GSM8K
• HotpotQA
• Language Models
• LongBench-v2
• Musique
• Nemotron-Diffusion-8B
• Qwen3 1.7B
• Qwen3-4B
• Qwen3.5 4B
• Qwen3.8-27B
• ruler
• SGD

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →