Supervised Fine-Tuning (SFT)
PulseAugur coverage of Supervised Fine-Tuning (SFT) — every cluster mentioning Supervised Fine-Tuning (SFT) across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的 Shell-LCC 方法将数据流形视为视频生成的奖励模型
研究人员推出了一种新颖的文本到视频生成改进方法 Shell-LCC，该方法将数据流形视为奖励模型。该方法从高质量数据的结构中提取无成本的奖励信号，在没有传统奖励模型或 DPO 的开销的情况下，增强了真实感和细粒度细节。Shell-LCC 通过对流形表面进行建模以更好地与高密度区域对齐，从而解决了 LCC 等先前方法的局限性，从而减少了过度平滑和运动模糊等伪影。
-
新的BYORn框架保护LVLMs免受后门攻击
研究人员开发了一个名为BYORn（Bootstrap Your Own Responses）的新型防御框架，用于在监督微调（SFT）过程中保护大型视觉语言模型（LVLMs）免受后门攻击。该方法利用预训练模型固有的语义理解能力来检测并用动态生成的、语义一致的响应替换恶意篡改的响应。BYORn能有效中和各种后门攻击，对模型的通用性能影响极小，在某些情况下甚至通过正则化效应提升了模型性能。
-
研究比较了法语医疗问答大语言模型适配方法
一项新近发表在arXiv上的研究，以法语医疗问答为案例，探讨了将大语言模型（LLMs）适配到特定领域和语言的各种方法的有效性。该研究分别并组合比较了持续预训练（CPT）和监督微调（SFT）在不同模型家族和规模上的表现。研究结果表明，对于选择题，CPT+SFT通常能产生最佳结果，尽管单独使用SFT也是一种成本效益高的方法。对于开放式问题，CPT可以改善基于重叠度的指标，而SFT可能会降低质量，其中指令微调和CPT+SFT在基于大语言模型…
-
研究发现，训练后阶段对生物推理模型有关键塑造作用
一项新研究调查了不同的训练后阶段如何影响生物推理模型的性能和泛化能力。研究人员在基因组学、转录组学和蛋白质领域训练了100多个模型，改变了持续预训练（CPT）、监督微调（SFT）和强化学习（RL）等参数。研究结果表明，每个训练阶段都对泛化能力产生独特影响：CPT使模型适应生物语言，SFT在牺牲领域外泛化能力的同时提高了领域内性能，而RL应用于强大的SFT检查点时则能提高领域外能力。
-
训练后阶段对生物推理模型的泛化能力至关重要
一项对100多个生物推理模型的新研究表明，训练后阶段对模型的泛化能力有显著影响。持续的预训练使模型与生物语言保持一致，而监督微调则以牺牲领域外泛化能力为代价来提升领域内性能。强化学习可以恢复这种领域外性能，这表明训练阶段的组合，而不仅仅是更多的计算量，是有效生物推理的关键。
-
新的 LLM 技术通过从错误中学习来增强安全代码生成
研究人员开发了一个名为树状自我博弈 (TSP) 的新框架，以提高大型语言模型 (LLM) 生成代码的安全性。TSP 将代码生成重新构建为顺序决策过程，使模型能够探索安全和易受攻击的代码路径。这种方法使 LLM 能够从细粒度的自身错误中学习，从而实现更强大的安全性。
-
新方法 GUI-CIDER 提升 GUI 代理知识
研究人员开发了 GUI-CIDER，一种新颖的中间训练方法，旨在增强使用多模态大型语言模型构建的 GUI 代理的世界知识。该方法通过因果内化和密度感知示例重选明确内化 GUI 操作知识，解决了传统训练后方法的局限性。GUI-CIDER 合成数据，通过优先考虑因果结构和减少冗余来精炼数据，然后使用这些精炼的数据进行中间训练。实验表明，使用此方法训练的代理在 GUI 理解和任务成功率方面有了显著提高。
-
新框架通过情感策略提升LLM代理的谈判技巧
研究人员开发了两个新框架EmoDistill和EvoEmo，通过融入情感策略来增强语言模型代理的谈判能力。EmoDistill通过选择和表达过程专注于将情感谈判技能蒸馏到代理中，在高风险领域实现更高的效用。EvoEmo利用进化强化学习优化多轮价格谈判中的动态情感表达，在成功率和效率方面优于基线策略。这两种方法都强调了情感在代理交互中的战略重要性，超越了简单的偏好对齐。
-
新 PRISM 框架纠正多模态大模型训练中的 SFT 缺陷
来自香港科技大学（广州）等机构的新研究揭示了多模态大语言模型（MLLMs）常见训练范式中的一个关键缺陷。监督微调（SFT）后进行强化学习（RL）的标准方法，可能会通过引入分布漂移而无意中损害模型性能，导致模型表面上模仿正确答案而非真正理解它们。这个问题在更强的模型中尤为突出，因为 SFT 可能会在 RL 开始之前就降低模型能力。提出的 PRISM 框架通过在 SFT 和 RL 之间插入一个分布对齐阶段来解决这个问题，使用一种新颖的混合…
-
Llama 70B 评估显示上下文比对抗性训练更重要
使用 AuditBench 和自然语言自编码器 (NLA) 对 Llama 70B Instruct 微调模型进行的新分析显示，评估方法比对抗性训练对采样技术更敏感。研究发现，与单轮评估相比，提供更多上下文的“强证据”评估格式更能抵御知识定向优化 (KTO) 和监督微调 (SFT) 等对抗性攻击。具体而言，诸如奖励线接线和上下文乐观主义等某些行为仅在更鲁棒的“强证据”评估中出现，这表明简单测试方法的局限性。