SmolLM
PulseAugur coverage of SmolLM — every cluster mentioning SmolLM across labs, papers, and developer communities, ranked by signal.
- 2026-09-03 product_launch A new speech model based on the SmoLLM backbone was released, featuring 80ms latency for natural conversations. 来源
1 天有情绪数据
-
小规模LLM中的提示回声与归纳头相关，而非仅仅数据泄露
研究人员调查了小规模指令遵循语言模型中提示回声的现象。他们分析了Gemma、Llama、Qwen、SmolLM和OLMo等多个系列的模型，以了解这种故障模式是表明训练数据泄露还是对齐不当的复制机制。研究发现，虽然回声提示可能与训练数据集部分重叠，但主要驱动因素似乎是模型的内部归纳头。
-
新的SmoLLM语音模型实现80毫秒延迟，支持自然对话
一款基于拥有1.35亿参数的SmoLLM骨干模型的新语音模型已被开发出来，旨在促进自然的全双工对话。该模型实现了令人印象深刻的80毫秒延迟，能够实现流畅的回复和自然的语道反馈，从而显著增强了对话的流畅性。虽然目前的概念验证使用了较小的骨干模型，但计划在未来开发更大的版本。
-
新的IAR框架增强了LLM的文档知识内化能力
研究人员开发了一种名为IAR（注入、对齐、恢复）的三阶段后训练新框架，旨在提高大型语言模型（LLM）内化特定文档知识以进行无检索问答的能力。该方法将过程分为注入文档知识、对齐模型以进行问答以及恢复通用能力。在Llama、Phi、Qwen和SmolLM等各种模型系列上，与标准微调方法相比，IAR在领域特定准确性和通用性能方面均显示出显著改进。
-
新方法通过词汇表估计LLM训练数据构成
研究人员开发了一种名为量化引导密度估计（QGDE）的新方法，用于估计大型语言模型（LLM）的隐藏训练语料库的构成。该技术利用已发布的tokenizer词汇表，表明token ID到比例的分布在不同语料库中是稳定的。QGDE使用量化趋势和局部密度加权来近似这些分布，在受控和现实场景中都实现了低估计误差，包括使用SmolLM tokenizer。研究结果表明，tokenizer词汇表可以提供对细粒度语料库估计的有价值的见解，超越了广泛的混合推断。