English(EN) Representational drift in a code model: behaviour settles, which neurons carry it does not

代码模型内部表征发生变化，尽管性能保持稳定

作者 PulseAugur 编辑部 · [1 个来源] · 2026-11-09 05:00

一篇新发表在arXiv上的研究，调查了OpenCoder-1.5B代码模型在预训练期间的“表征漂移”。研究人员观察到，尽管模型在特定Python结构上的性能在训练早期就已稳定，但负责承载这些表征的特定神经元，即使在处理了数万亿个token后，仍在持续显著变化。这表明，学习到的行为的底层神经通路并非固定不变，而是会随着时间动态变化。 AI

影响揭示了大型代码模型的内部机制会随着时间显著改变，即使外部行为保持一致，这会影响可解释性和未来模型开发。

排序理由学术论文，详细介绍了关于AI模型行为的研究发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 17 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 学术论文，详细介绍了关于AI模型行为的研究发现。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Piotr Wilam · 2026-11-09 05:00

代码模型中的表征漂移：行为已稳定，但携带它的神经元尚未确定

arXiv:2611.09204v1 Announce Type: new Abstract: In neuroscience, representational drift is a change in which neurons carry a representation while behaviour stays the same; we measure its analogue in OpenCoder-1.5B during pretraining, for 169 Python constructs over two trillion to…

本文如何被排名

报道来源 [1]

代码模型中的表征漂移：行为已稳定，但携带它的神经元尚未确定

相关实体

相关话题