SmolLM3 3B
PulseAugur coverage of SmolLM3 3B — every cluster mentioning SmolLM3 3B across labs, papers, and developer communities, ranked by signal.
- 2026-05-12 research_milestone SmolLM3 3B achieved a top score in the Works With Agents benchmark for agent coding. 来源
3 天有情绪数据
-
AI研究探索高级递归自我改进技术
多篇研究论文探讨了增强AI自我改进的方法,超越了即时性能提升。一种方法,经验传递强化学习(ACE-RL),训练模型不仅执行任务,还为未来迭代整理和传递经验制品,如操作手册。另一篇论文《第三只眼》研究了在后续模型更新后,自我更新是否仍然有益,发现即时性能指标可能具有误导性,并且无更新基线对于评估至关重要。此外,InfraRSI专注于使用递归自我改进优化大型语言模型的训练基础设施,通过优化不同硬件上的启动设置和代码补丁,实现了显著的加速和…
-
DoubleFree 方法通过重用探索数据来加速 LLM 训练
研究人员开发了一种名为 DoubleFree 的新方法,以提高多任务大型语言模型 (LLM) 训练的效率。该技术重新利用领域特定强化学习的历史轨迹,无需在整合过程中进行昂贵的在线教师响应。通过预先计算教师监督,DoubleFree 显著加快了整合过程并减少了所需的计算资源,同时在数学、代码和指令遵循等各种领域保持了可比的性能。
-
博客评估 GPT-2 之外的现代大型语言模型用于诗歌生成
一篇博客文章详细介绍了为诗歌生成项目选择现代大型语言模型(LLM)的过程,超越了 GPT-2 等早期模型。作者根据指令遵循能力、计算要求、许可、生成质量以及与 Hugging Face Transformers 的兼容性,评估了六个开放权重 LLM。考虑的模型包括 Gemma 3 4B Instruct、Llama 3.2 3B Instruct 和 Phi-4 Mini Instruct 等,重点关注它们在 Google Colab…
-
开源大语言模型在基尼亚卢旺达语到英语翻译方面的评估
一位开发者探索了开源语言模型在将基尼亚卢旺达语翻译成英语方面的有效性。评估了三个模型:来自 Alibaba Cloud 的 Qwen3-4B-Instruct-2507,来自 Meta 的 Llama 3.2 3B Instruct,以及来自 Hugging Face 的 SmolLM3-3B。尽管基尼亚卢旺达语并未明确列为任何模型的支持语言,但 Qwen 模型因其更大的参数量和上下文窗口而被选中进行进一步测试。
-
LLM 研究人员比较用于翻译和食谱生成的开放权重模型
三个研究博客探讨了用于特定 NLP 项目的开放权重 LLM,比较了 Qwen2.5-1.5B-Instruct、Llama 3.2 3B Instruct、Gemma 3 4B Instruct、Qwen3-4B-Instruct-2507、Phi-4 Mini Instruct 和 SmolLM2/3 等模型。作者根据参数数量、上下文窗口、语言支持、许可和翻译、指令遵循等任务的性能来评估模型,通常会考虑免费 Google Colab…
-
作者比较 Qwen3、SmolLM3 和 Phi-4 用于诗歌生成
作者正在为诗歌生成项目探索三个开源 LLM:Qwen3-4B-Instruct-2507、SmolLM3-3B 和 Phi-4-mini-instruct。每个模型都根据其参数、上下文窗口、许可和内存要求进行评估。目标是确定这些指令微调模型中哪一个能在满足特定用户指令的同时,尤其是在资源有限的情况下,最好地生成连贯、富有创意且相关的诗歌。
-
New OBU Framework Removes Hazardous LLM Capabilities Without Collateral Damage
研究人员开发了一个名为正交边界遗忘(OBU)的新框架,用于从大型语言模型中移除危险能力,同时不损害其良性科学效用。OBU通过识别和隔离用于双重用途概念(如网络安全或生物武器相关概念)的特定表征,然后确保对模型的任何修改都严格避免改变这些良性表征。两种方法,即投影LoRA和闭式权重手术,实现了OBU,在分离双重用途概念和抵抗对抗性重新学习方面,在多个开源模型上均显示出显著的改进。
-
小型开源 LLM 在 Google Cloud TPU v5e 上进行基准测试
一份指南详细介绍了如何使用 vLLM 在单个 Google Cloud TPU v5e 芯片上对小型、开源语言模型进行基准测试。实验使用 Gemma 4 E2B 作为基线,评估了 Qwen3-4B、SmolLM3-3B 和 Granite 3.3 2B 等模型的性能和效率。Qwen3-4B 在输出速率方面表现出与 Gemma 4 E2B 相当的准确性,而 SmolLM3-3B 和 Granite 3.3 2B 在工具调用任务中表现出可比的性能。
-
新的强化学习算法 BoT-GRPO 增强了大型语言模型的推理能力
研究人员推出了一种新颖的强化学习算法 BoT-GRPO,旨在增强大型语言模型的推理能力。该方法是 GRPO 的扩展,通过将令牌级奖励聚合到“令牌包”中并相对于组统计数据计算优势,从而有效地利用令牌级奖励。BoT-GRPO 在没有评论员的情况下运行,使其成为令牌级奖励可用时 GRPO 的直接替代品。实验表明,与现有的 GRPO 变体相比,它在代码生成任务上实现了更高的编译率和更快的收敛速度,并且还提高了数学推理性能。
-
AI代理通过openTPU项目设计自己的推理硬件
一个名为openTPU的开源项目展示了AI设计自身推理硬件的能力。该项目在一个单一的monorepo中详细介绍,包括SystemVerilog中的硬件设计、一个模拟器以及在PCIe卡上运行现代AI模型的宿主软件。该倡议旨在探索AI代理如何为硬件设计做出贡献,并为自身的推理任务构建芯片。
-
小型语言模型在TalkMesh系统中学会沟通与协作
研究人员开发了TalkMesh系统,该系统利用强化学习使小型语言模型能够进行沟通与协作。这种去中心化的代理网络学会何时以及分享何种信息,从而提高了准确性,超越了简单的多数投票。在测试中,TalkMesh在GSM8K和MATH-500等基准测试上的准确性高于单个模型或标准的自洽性方法,并表现出对对抗性串通的抵抗力。
-
新方法改进同策略蒸馏以增强AI能力 · 跟踪7个来源
研究人员正在探索同策略蒸馏(OPD)的高级技术,通过结合多个“教师”模型来增强语言模型的能力。LEGO-OPD和SAKI等新方法侧重于分解和路由教师信号,以提高视觉基础和推理能力,同时不降低性能。SCOUT和MAESTRO等其他方法则解决了教师-学生前缀不匹配的挑战,并优化了教师干预策略,以防止性能下降并确保跨不同任务的平衡能力集成。
-
新数据集AMPLE-Math 探究特权信息在 LLM 自蒸馏中的价值
研究人员开发了一个新的数据集 AMPLE-Math,其中包含超过 5000 个数学问题,用于研究特权信息对语言模型按策略自蒸馏(OPSD)的影响。他们的发现表明,虽然 OPSD 可以通过为教师模型提供已解出的答案等额外信息来增强模型的学习,但实际收益适中,并且高度依赖于学生模型的训练和评估方式。研究表明,特权参考的价值更多在于促进现有推理能力的跨模态迁移,而不仅仅是揭示更多解决方案。
-
Instella-MoE:新的开源 MoE 语言模型发布
一份新的技术报告介绍 Instella-MoE,一个拥有 160 亿总参数的开源专家混合(MoE)语言模型。该模型在 AMD Instinct GPU 上训练,并采用了门控多头潜在注意力(Gated Multi-head Latent Attention)和 FarSkip-Collective 连接等创新技术,以实现高效的训练和推理。Instella-MoE 在预训练基准测试中表现强劲,优于其他开源模型,并在指令遵循、推理、数学、编…
-
新方法在消费级 GPU 上训练 AI 模型,成本低于 7000 美元
研究人员开发了一种经济高效的语言模型预训练方法,使得在 RTX 5090 GPU 等消费级硬件上训练模型的成本低于 7000 美元。这种新方法以 Puro-2B 模型系列为演示,旨在通过显著降低训练大型模型的高昂成本来普及 AI 开发。该方法包括低精度训练和优化的数据课程等技术,其中表现最好的模型接近 Qwen2.5-1.5B 的性能。研究团队还推导出了一个成本缩放定律,表明达到 Qwen2-1.5B 的性能可能只需 4400 美元,…
-
开源方案在消费级 GPU 上训练 2B LLM,成本低于 7000 美元
研究人员开发了一种开源预训练方案,显著降低了训练大型语言模型的成本,使其在消费级 GPU 上训练的成本低于 7000 美元。他们训练的 Puro-2B 模型在 RTX 5090 GPU 上训练,其性能与 Qwen2-1.5B 等更大模型相当。该研究还引入了“Puro 成本缩放定律”,估计达到 Qwen2-1.5B 性能的成本低于 5090 美元,并探讨了数据课程如何影响下游性能。
-
webAI 发布 TwIL-LM 形式逻辑模型,用于本地自动形式化
webAI 推出了 TwIL-LM,这是一个包含 1.7B 和 3B 参数两种规格的形式逻辑模型家族。这些模型专为自动形式化而设计,能够将英语翻译成一阶逻辑并验证结论。这两个模型都可以在消费级硬件上本地运行,其中 3B 模型所需的 VRAM 或 CPU 资源极少。此次发布强调了效率,3B 模型在速度和生成长度方面优于更大的模型,但在整体形式逻辑准确性方面略逊于一个 120B 参数的模型。
-
新研究应对大语言模型对齐、安全和优化挑战
研究人员正在探索改进大语言模型(LLM)对齐和可靠性的新方法。一项研究发现字节对编码(BPE)分词中存在一个漏洞,该漏洞可能被利用来绕过安全机制,导致多个模型系列产生有害输出。另一篇论文提出了一个名为HAL的框架,通过优化明确的、可解释的对话特征来诱导大语言模型产生类似人类的对话行为。此外,一个名为Object Aligner的新库提供了一种可配置的方法来评估JSON模式相似度,这对于大语言模型提示优化和工具使用非常有用。最后,对大语…
-
量化和温度对大语言模型安全的影响已得到分析
一项新研究调查了模型量化和采样温度的组合效应对大型语言模型安全对齐的影响。研究人员发现,对于大多数测试模型而言,INT4和INT8等标准量化方法通常不会降低安全性,有时甚至会提高安全性。然而,提高采样温度会显著增加不稳定性以及产生有害输出的可能性,特别是对于易受影响的模型。研究得出结论,量化和温度不会系统性地加剧彼此的负面影响,这表明虽然量化通常是安全的,但在较高温度下的安全声明应包含多样本稳定性指标。
-
新型稀疏自编码器模型增强了大型语言模型特征的可解释性
研究人员推出了一种名为“符号感知门控稀疏自编码器”(SA-GSAE)的新型架构,旨在提高从大型语言模型(LLM)中提取的特征的可解释性。与强制非负的标准稀疏自编码器(SAE)不同,SA-GSAE 利用极性敏感门和带符号幅度路径来有效地建模反相关特征。这种方法允许单个潜在表示捕获相反的概念,从而优化字典容量。