来自 Google DeepMind 的一篇新论文介绍了一种无需训练即可增强模型架构的方法，使其能够指导自身的修改。这种称为“再循环”（recirculation）的方法允许前馈 Transformer 作为动力学系统运行，在预填充期间将激活反馈回自身，以在不重新训练的情况下跟踪信念状态。该方法已显示出显著的改进，一种自适应变体在 Gemma3 系列模型上将困惑度降低了 23%，并将 GSM8k 准确率提高了 21%，仅使用了原始权重的超参数调整。 AI
影响 这种无需训练的方法可能带来更高效的模型开发和在无需大量重新训练的情况下提高性能。
排序理由 该集群描述了一篇研究论文，其中详细介绍了一种改进 LLM 架构的新颖方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 X — Omar Sanseviero (HF research) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
