实体
OLMo-2-1B
OLMo-2-1B
PulseAugur coverage of OLMo-2-1B — every cluster mentioning OLMo-2-1B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新研究表明预训练时安全是实现稳健 AI 对齐的关键
一篇新的研究论文提出了一个几何学解释，说明了为何像 RLHF 和 DPO 这样的事后安全训练方法是脆弱的，并且容易被绕过。该研究表明，这些方法只是掩盖了能力，而不是真正地移除它们，导致在最小的微调下就会崩溃。研究表明，将安全训练直接整合到预训练阶段，而不是事后应用，可以在各种模型规模上实现更稳健和持久的安全措施。
-
新方法可恢复 LLM 中隐藏的推理能力
研究人员开发了一种新方法，可以从未能完成推理任务的大型语言模型 (LLM) 中恢复正确答案。该技术解决了“表达失败”问题，即模型拥有潜在的推理能力，但由于结构偏差而难以正确输出。通过在无标签示例上仅拟合两个参数，该方法可以将 Qwen3.5 等模型的准确率提高 9-34 个百分点，并且对 OLMo-2-1B 和 Llama-3.1-8B 也有效。
-
SMF和SAM等新方法减少了LLM的灾难性遗忘
两篇新研究论文探讨了在微调过程中减轻语言模型灾难性遗忘的方法。其中一篇论文介绍了稀疏记忆微调（SMF），该方法增加了记忆层并仅更新访问量大的行，在医学考试任务上表现出改进的性能，同时通用能力损失最小。另一篇论文研究了锐度感知最小化（SAM）和其他预训练优化技术，证明偏向更平坦的最小值可以显著减少各种模型大小和训练后场景下的遗忘。