PulseAugur
中
实时 08:48:09
实体 SmolLM3-3B-Base

SmolLM3-3B-Base

PulseAugur coverage of SmolLM3-3B-Base — every cluster mentioning SmolLM3-3B-Base across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_286929 ·

    新研究质疑轨迹特征对大型语言模型注意力路由的价值

    研究人员评估了轨迹特征在语言模型最后一层中路由注意力的有效性。他们使用 SmolLM3-3B-Base 和 Qwen3.5-4B-Base 的冻结检查点,在留出数据上测试了效用监督路由器。研究发现,与更简单的方法相比,没有一个评估的轨迹特征能显著提高预测准确性。事实上,Qwen3.5 中的固定投影对照组甚至比轨迹路由器降低了负对数似然(NLL),这表明这些复杂摘要在提高推理质量方面的增量价值有限。

  2. TOOL · CL_176538 ·

    AMD 发布拥有 2.8B 激活参数的开源 Instella-MoE-16B LLM

    AMD 发布了 Instella-MoE-16B-A3B,这是一款开源的专家混合(Mixture-of-Experts)语言模型。该模型拥有 160 亿总参数,但每个 token 仅激活 28 亿参数,利用了门控多头潜在注意力(Gated Multi-head Latent Attention)和 FarSkip-Collective 连接等架构创新,以提高训练和推理速度。虽然训练代码采用 MIT 许可且高度可重用,但模型权重是在 R…