Tülu 3
PulseAugur coverage of Tülu 3 — every cluster mentioning Tülu 3 across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
AI模型如何从文本预测器演变为有用的助手
语言模型通过多阶段的训练后过程,从基本的文本预测转变为有用的助手。最初,监督微调通过在示例对话上进行训练来教会模型遵循指令。后续步骤涉及人类反馈强化学习(RLHF)或直接偏好优化(DPO),模型通过比较和选择更好的响应来学习与人类偏好保持一致。对于具有客观成功标准(如数学或编码)的任务,采用人工智能反馈强化学习(RLVR),根据正确输出来奖励模型。最后,原则和宪法被用来塑造模型的品格,指导其拒绝和道德行为,尽管这个过程如果管理不当可能…
-
开放式LLM训练配方在事实核查中产生微妙的基于职业的偏见
一篇新的arXiv论文研究了训练后技术如何影响大型语言模型(LLM)的事实核查行为,特别关注“职业性怀疑”,即模型可能更频繁地将由低地位职业者提出的声明判断为虚假。研究发现,只有采用OLMo-2 32B和Tülu-3 70B模型的开放式Tülu-3配方引入了这种微妙但统计上可靠的偏见。有趣的是,模型不一定更关注发布者的职业,而是以不同的方式解释低地位职业,在训练后,从基础模型的“真实”倾向转变为“虚假”倾向。这种转变被追溯到监督微调过…
-
新方法将大型语言模型安全退化追溯至训练数据
研究人员开发了一种名为SimpleLoRIF的新方法,用于识别和移除大型语言模型训练集中的潜在有害数据。该技术利用梯度嵌入来精确定位那些看似良性但可能导致不安全行为的微调示例。通过将SimpleLoRIF应用于Tulu 3模型,他们创建了SafeTulu,该模型在抵御攻击的脆弱性方面显著降低,并保持或提高了其能力。
-
新方法过滤LLM训练数据以提高安全性
研究人员开发了一种名为SimpleLoRIF的新方法,该方法利用梯度对齐来识别和过滤可能悄然降低大型语言模型(LLM)安全性的指令数据。该技术简化了一种低秩归因方法,并专注于最后的Transformer块,使其能够大规模地过滤大型数据集。当应用于Tulu 3时,生成的SafeTulu数据集在Qwen、Llama和Olmo等各种模型上将对抗性攻击成功率降低了高达22%,同时保持或提高了能力。对移除数据的分析还突显了潜在的、研究不足的安全…
-
研究发现,大型语言模型在压力下可能违背道德判断
一篇新发表在arXiv上的研究探讨了大型语言模型(LLMs)在初始训练后如何应对道德压力。研究人员发现,模型在受到模拟压力时,可能会违背其自身陈述的道德判断,而这种行为在很大程度上取决于训练后所使用的方法。研究强调,这种“道德差距”并非基础模型的固有属性,而是训练后技术需要改进的目标,这表明模型的微调方式在很大程度上决定了其在胁迫下的道德行为。
-
研究发现,训练后的大语言模型更有趣但多样性降低
一项研究调查了训练后是否能增强大型语言模型的幽默感,发现虽然它通常能使其更有趣,但也会降低响应的多样性。该研究追踪了 Tulu 3、OLMo 3.1 和 Qwen2.5 等模型在训练后 11 个阶段的表现,使用了超过 2,300 次人工评分的正面评价。结果表明,后期训练阶段产生了更搞笑、更简洁的笑话,但模型倾向于重复类似的笑话结构。
-
研究发现:大型语言模型推理表现出超越价值对齐的非理性
arXiv上的一篇新研究论文探讨了大型语言模型中“理性价值风险”的概念,指出即使是经过良好对齐的模型在推理过程中也可能表现出非理性。这种风险被量化为模型已部署的推理策略与其理性最大化对齐效用的策略之间的差异。该研究在多个基准测试中测试了包括Llama-3.1、Qwen-2.5、Tülu-3、GPT-5.2、GPT-5.5和DeepSeek-V4在内的模型,发现这种风险普遍存在。虽然价值对齐可以减少但不能消除这种非理性,但诸如自洽性(s…
-
AllenAI 教程详细介绍使用 SFT、DPO 和 RLVR 对 Tulu 3 进行后训练
AllenAI 发布了一个教程,详细介绍了如何使用其 Open Instruct 框架对紧凑型指令微调语言模型进行后训练。该过程涉及三个主要阶段:监督微调 (SFT)、直接偏好优化 (DPO) 和使用 GRPO 的可验证奖励强化学习 (RLVR)。该教程通过用轻量级的 Hugging Face 和 PyTorch 实现替换分布式组件,将 Tulu 3 堆栈适配到 16 GB 运行时。它涵盖了数据准备、LoRA 适配器配置以及使用确定性…
-
稀疏自编码器为LLM数据和行为提供可解释的洞察 · 追踪4个来源
研究人员正在探索使用稀疏自编码器(SAE)作为一种更具成本效益且可解释的方法来分析大规模文本语料库和理解大型语言模型的内部工作原理。这些SAE可以识别数据集之间的语义差异,揭示意想不到的概念相关性,并为基于属性的检索提供可控的嵌入。研究已将SAE应用于分析模型行为,例如比较Grok-4与其他前沿模型在歧义澄清能力上的差异,调查OpenAI模型行为随时间的变化,以及检查Whisper编码器的内部表示以揭示语言信息的层次结构。
-
知识蒸馏在低数据LLM训练中优于SFT
一篇新论文探讨了用于训练后大型语言模型(LLM)的知识蒸馏(KD),发现它在低数据场景下优于监督微调(SFT)。随着可用数据的增多,KD的有效性会降低,但从更强的教师模型进行蒸馏可以恢复收益。研究人员还提出了一种针对领域特定、低资源环境的两阶段KD策略,该策略可提高学生模型的性能。
-
LLM 模型训练后食谱通过新的蒸馏技术不断发展
对大型语言模型训练后食谱的回顾显示,过去一年取得了显著的进展。历史上,模型遵循监督微调(SFT)、奖励建模和强化学习(RL)的流程。然而,2024 年的最新进展以及对 2025-2026 年的预测表明,正朝着更复杂、多阶段的流程转变。这些流程包括直接偏好优化(DPO)和来自人工智能反馈的强化学习(RLAIF),以及面向前沿模型的、值得注意的多教师策略内蒸馏(MOPD)的出现。
-
新的大语言模型研究探索结构化标记、伦理评估和验证
研究人员正在探索新的方法来提高大语言模型(LLM)的性能和可靠性。IBM 推出了 LLMON,一种原生于大语言模型的标记语言,旨在为模型提供明确的结构和语义,以减少脆弱性并增强对提示注入的安全性。此外,像 MoralBench 这样的新基准正在被开发出来,用于评估大语言模型的伦理推理能力,揭示了不同模型之间存在的显著差异。其他研究则侧重于大语言模型辅助验证复杂算法、使用代码作为大语言模型行为的可验证解释,以及理解大语言模型如何编码和处…