一篇新研究论文探讨了循环语言模型（LoopLMs）中循环的有效性，该模型旨在通过参数共享来增加计算深度。该研究系统地调查了循环何时有益、应在架构中的何处应用以及在不同推理预算和任务中条件如何影响性能。主要发现表明，循环可以增强训练范围之外的推理能力，但可能会降低知识性能，而最优的层分配和状态注入方法对于稳健的结果至关重要。 AI
影响 为设计循环语言模型提供了实用指南，有可能在各种推理预算下提高其效率和性能。
排序理由 详细介绍特定人工智能模型架构实验结果的学术论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2609.36636v1 Announce Type: cross Abstract: Looped language models (LoopLMs) increase computational depth through parameter sharing, offering a path to scale inference computation without adding parameters. However, it remains unclear when additional recurrence is beneficia…
Looped language models (LoopLMs) increase computational depth through parameter sharing, offering a path to scale inference computation without adding parameters. However, it remains unclear when additional recurrence is beneficial and how architectural choices affect its effecti…