实体
OLMoE 1B-7B-0924
OLMoE 1B-7B-0924
PulseAugur coverage of OLMoE 1B-7B-0924 — every cluster mentioning OLMoE 1B-7B-0924 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
AI研究质疑专家混合模型中的专家重要性指标
一篇新的研究论文调查了可解释性方法在专家混合（MoE）模型中的有效性。研究发现，用于预测哪些专家可以被移除而不影响性能的常用指标，与因果专家重要性并不可靠地相关。在三种不同的MoE架构中，观察性数据未能预测专家的可替代性，这表明当前的剪枝技术可能由于冗余而不是精确识别关键组件而成功。
-
研究人员追踪1B级语言模型中的注意力回路形成
一篇新研究论文调查了语言模型中注意力回路的出现，特别追踪了不同类型的注意力头在不同模型架构和训练数据集中的形成方式。研究发现，模型中的早期层始终未能开发出特定类型的注意力头，并且这些回路的形成可能遵循不同的模式，例如渐进式增长或急剧的阶段性转变。重要的是，研究表明，像归纳（induction）这样的关键回路的识别可以在训练过程早期实现，这表明模型能力与训练完成前的回路发展密切相关。