实体
OpenCoder-1.5B
OpenCoder-1.5B
PulseAugur coverage of OpenCoder-1.5B — every cluster mentioning OpenCoder-1.5B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
代码模型内部表征发生变化，尽管性能保持稳定
一篇新发表在arXiv上的研究，调查了OpenCoder-1.5B代码模型在预训练期间的“表征漂移”。研究人员观察到，尽管模型在特定Python结构上的性能在训练早期就已稳定，但负责承载这些表征的特定神经元，即使在处理了数万亿个token后，仍在持续显著变化。这表明，学习到的行为的底层神经通路并非固定不变，而是会随着时间动态变化。
-
新方法允许直接测量人工智能模型神经元活动
研究人员开发了一种名为校准概念剖面（Calibrated Concept Profiles, CCP）的新方法，用于直接测量和解释人工智能模型中单个神经元的活动。该方法通过为神经元读数提供标准化单位并确保跨研究的可重复性，解决了先前间接方法的局限性。CCP已在OpenCoder-1.5B模型上通过Python实现，追踪了跨越两万亿训练令牌的神经元行为，并提供了关于模型内部结构如何表示和演变的见解。