研究人员开发了一种名为“循环”（recirculation）的新型推理时架构增强技术，用于基础模型，可显著降低困惑度并提高生成和推理任务的准确性。该技术引入了一种递归形式，使模型能够充当动态系统并跟踪信念状态，而不会在生成过程中增加延迟，尽管它在预填充阶段需要串行处理。一种自适应的循环变体，在保持原始模型权重冻结的情况下，仅需进行轻微的超参数调整，就在 Gemma3 系列模型上实现了 23% 的困惑度降低和 21% 的准确性提升。 AI
影响 这种无需训练的方法可以显著提高现有基础模型的性能，可能带来更高效、更准确的 AI 系统。
排序理由 该集群描述了一篇介绍改进基础模型新颖技术的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
