English(EN) Agreement rather than normalisation keeps depth reusable in looped language models

新研究表明，协议而非归一化可实现循环语言模型中深度的可重用性

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-26 04:00

一项新的研究论文提出，循环语言模型中深度的可重用性依赖于训练和推理循环之间的一致性，而不是步骤之间的状态归一化。在已发布的 Ouro 模型和新训练的小型模型上进行的实验表明，即使状态范数保持稳定，移除归一化也可能导致准确性显著下降。在移除归一化后重新调整模型的头部或最后一个块层可以恢复大部分丢失的准确性，这表明一致性是深度可重用的关键因素。 AI

影响这项研究通过阐明深度可重用性背后的机制，可能带来更高效、更有效的语言模型架构。

排序理由该集群包含一篇发表在 arXiv 上的研究论文，详细介绍了关于语言模型架构的新发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 13 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇发表在 arXiv 上的研究论文，详细介绍了关于语言模型架构的新发现。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Ivan Viakhirev, Kirill Borodin, Maxim Abramov, Grach Mkrtchian · 2026-10-26 04:00

协议而非常态化使深度在循环语言模型中可重用

arXiv:2610.31943v1 Announce Type: cross Abstract: Looped language models apply one block of layers repeatedly, and the design pays off only if depth is reusable: loop steps beyond the trained budget must remain usable at inference. We ask whether that rests on normalising the sta…

本文如何被排名

报道来源 [1]

协议而非常态化使深度在循环语言模型中可重用

相关实体

相关话题