supervised fine-tuning
PulseAugur coverage of supervised fine-tuning — every cluster mentioning supervised fine-tuning across labs, papers, and developer communities, ranked by signal.
- instance of Direct Preference Optimization 90%
- instance of Direct Preference Optimization: Your Language Model is Secretly a Reward Model 70%
- developed by Grpo 70%
- used by alphaXiv 70%
- used by Direct Preference Optimization: Your Language Model is Secretly a Reward Model 70%
- instance of Gotit.pub 70%
- instance of alphaXiv 70%
- used by Group Relative Policy Optimization 70%
- used by On-Policy Distillation 70%
- used by Qwen3 1.7B 70%
- used by Grpo 60%
- competes with Direct Preference Optimization: Your Language Model is Secretly a Reward Model 60%
22 天有情绪数据
-
新的CLEAR框架在不损失效用的情况下增强大语言模型安全性
研究人员开发了CLEAR，一个在不牺牲效用的情况下提高大语言模型安全性的新框架。CLEAR使用一个隐藏状态门来动态调整安全适配器，使其能够减少有害输出，同时保持对良性输入的性能。实验表明，CLEAR在HarmBench等基准测试中显著降低了有害响应率，同时在GSM8K等任务上保持甚至提高了性能，特别是在应用于LLaMA-3-8B-Instruct等模型时。
-
LLM评估指标'acc'与'acc_norm'详解
一项技术性讨论强调了在评估大型语言模型（LLM）时，“acc vs acc_norm”问题，尤其是在多项选择任务中。标准准确率指标（acc）由于依赖于总对数似然，而总对数似然本身会因答案长度而受到惩罚，因此偏向于较短的答案。归一化准确率指标（acc_norm）试图通过将分数除以续写的字节长度来纠正这一点，旨在实现跨模型和分词器的一致性比较。然而，acc_norm也可能引入偏差，例如偏向于将答案拆分成许多可预测的子词的答案。文章建议报告…
-
LLM 知识遗忘研究探讨奖励规范挑战
一篇新研究论文探讨了从大型语言模型中遗忘特定知识的复杂性，同时保持其通用效用。该研究在 LoRA-GRPO RWKU 环境下进行，比较了四种不同的奖励设计，以应对确保模型在回答广泛主题提示时不会泄露目标信息的挑战。研究结果表明，优化成功并不总是等同于行为遗忘，因为各种评估方法可能得出相互矛盾的结论。
-
新的自蒸馏方法通过对齐内部流形来恢复大型语言模型的性能
研究人员引入了一个名为自蒸馏微调（SDFT）的新颖框架，旨在恢复因监督微调期间的灾难性遗忘、量化或剪枝等因素而性能下降的大型语言模型（LLMs）的性能。该框架得到了理论解释的支持，该解释认为大型语言模型的生成能力与其隐藏层构建的高维流形有关。使用中心核对齐（CKA）进行的实验表明，性能恢复与流形对齐之间存在很强的相关性，这表明自蒸馏有效地将学生模型的流形与其教师模型的最佳结构对齐。
-
揭示语言模型知识蒸馏的新分布视图
研究人员为语言模型的知识蒸馏（KD）引入了一种新的分布视角。该方法超越了对 token 分布的点对点比较，而是考虑了教师模型输出的多种温度视图。然后，学生模型针对这些视图的几何感知聚合进行训练，该聚合通过各种池化和聚合方法进行形式化，包括去偏的 Sinkhorn 散度。在指令微调模型上的实验表明，多温度聚合的收益取决于这些视图的离散度，而最优的 KD 损失函数则取决于教师模型和学生模型之间的性能差距。
-
构建用于LLM微调的数据集：SFT和DPO详解
本文解释了大型语言模型中监督微调（SFT）和直接偏好优化（DPO）数据集的创建过程。它详细介绍了DPO的偏好对是如何生成的，包括损失掩码的概念，并讨论了微调所需的数据，认为所需数据量比普遍认为的要少。
-
新框架应对电子商务图像文本生成和编辑
两篇新研究论文介绍了处理电子商务图像中文本的新颖框架。TransAnyText 提出了一种结构化视觉代码方法，生成可渲染的 HTML 补丁，将语义理解与像素渲染分离，并采用包括监督微调和强化学习在内的多阶段训练过程。PosterText 通过将文本补丁视为原子单元，为电子商务海报的生成和编辑提供了统一的任务表述，并采用了包括文本渲染预训练和用于偏好对齐的强化学习在内的四阶段课程。
-
新的sMuon方法增强了神经网络的低秩微调
研究人员开发了一种名为sMuon的新方法，以改进神经网络的参数高效微调（PEFT）。该技术通过在低秩设置中近似Muon目标，解决了Muon优化器与常见的LoRA PEFT方法之间的不兼容问题。该实现仅使用矩阵乘法运算，并在监督微调和ReLoRA预训练实验中显示出有利的结果，提供了适度的性能改进。
-
新的SEMA框架增强了对LLM的多轮越狱攻击
研究人员开发了SEMA，一个旨在改进针对大型语言模型的多轮越狱攻击的新型框架。SEMA采用两阶段过程：预填充自适应以生成结构化对抗性提示，以及具有意图漂移感知奖励的强化学习以维持有害目标。该方法在AdvBench等基准测试中取得了最先进的攻击成功率，显著优于现有方法。
-
新的 Omni-Persona 基准测试评估全模态 LLM 个性化
研究人员推出了 Omni-Persona，这是一个新颖的基准测试，旨在系统地评估和改进大型语言模型中的全模态个性化。该基准测试通过涵盖文本、图像和音频模态，并引入新的指标 Calibrated Accuracy (Cal) 来评估正确对齐和适当弃权，即使在无个性化场景下，也解决了现有研究的局限性。实验揭示了开放权重模型中显著的音频与视觉对齐差距，RLVR 在一定程度上缓解了这个问题，同时还强调了召回率和模型规模不足以诊断个性化质量，因…
-
新框架ForgeryVCR改进了多模态大语言模型在图像伪造检测方面的能力
研究人员推出ForgeryVCR，一个旨在提高多模态大语言模型（MLLMs）在检测和定位图像伪造方面的准确性的新框架。与以往以文本为中心的方法（由于语言模态在捕捉细微像素不一致性方面的局限性而常常导致幻觉）不同，ForgeryVCR集成了高效的取证工具箱。该工具箱将不可察觉的痕迹物化为显式的视觉中间体，实现了视觉中心推理。该框架采用战略工具学习范式，结合监督微调和强化学习，使MLLMs能够主动调用多视图推理路径进行详细检查。
-
LLM输出同质性可能源于预训练，而非仅仅是调优
一项新的研究论文表明，在大型语言模型（LLM）输出中观察到的同质性可能源于预训练阶段，而非仅仅在调优过程中产生。研究发现，语义收敛可以通过监督微调（SFT）被揭示和放大，但不能由其引入。此外，通过单独提示就可以在基础模型中诱导类似指令的崩溃，这表明收敛可能是LLM训练目标的自然结果，使得后调优干预不足以缓解。
-
研究发现：长上下文训练可能损害大型语言模型的知识
一篇新研究论文提出了“信息丰富悖论”，挑战了大型语言模型中更长上下文窗口总是能提高性能的假设。研究表明，训练过程中过多的相关信息会降低模型进行参数化编码知识的动力，导致过度依赖上下文。这种现象在语言建模、自然语言理解和闭卷问答任务中，超过某个中间最优值后，会降低性能。研究表明，使用信息丰富的上下文进行训练会将梯度压力从与参数化知识相关的馈送网络转移到注意力模块，从而在推理过程中增加上下文依赖性。
-
大型语言模型在多语言API调用中遇到困难；监督微调显示出潜力
一项新的研究论文探讨了大型语言模型（LLMs）在多语言工具使用方面面临的挑战，特别是解决了“参数语言不匹配”（ALM）的问题。当LLM正确识别工具但生成的参数语言不一致时，就会出现此问题，导致输出无效。研究发现，监督微调（SFT）是缓解ALM的非常有效的方法，可显著提高参数语言一致性和整体函数调用准确性。虽然像Group Relative Policy Optimization（GRPO）这样的强化学习（RL）方法在语言一致性和一般推…
-
AllenAI 教程详细介绍使用 SFT、DPO 和 RLVR 对 Tulu 3 进行后训练
AllenAI 发布了一个教程，详细介绍了如何使用其 Open Instruct 框架对紧凑型指令微调语言模型进行后训练。该过程涉及三个主要阶段：监督微调 (SFT)、直接偏好优化 (DPO) 和使用 GRPO 的可验证奖励强化学习 (RLVR)。该教程通过用轻量级的 Hugging Face 和 PyTorch 实现替换分布式组件，将 Tulu 3 堆栈适配到 16 GB 运行时。它涵盖了数据准备、LoRA 适配器配置以及使用确定性…
-
新的大型语言模型框架通过频谱动力学和推理增强时间序列预测
两篇新的研究论文提出了将大型语言模型（LLM）适配时间序列预测的新颖框架。第一个框架FM-LLM利用增强频率的专家混合方法，并结合傅里叶分析网络注入频谱动力学，在多个基准测试中取得了最先进的性能。第二个框架REATS采用LLM推理进行自适应集成学习，使用思维链生成可解释的、样本特定的集成权重，并优于竞争性基线。
-
SafeCap 框架通过字幕介导的强化学习增强 LVLM 的安全性
研究人员开发了 SafeCap，一个旨在增强大型视觉语言模型 (LVLM) 安全性的新型强化学习框架。该方法训练一个策略模型，使其在生成最终答案之前生成与安全相关的图像字幕。字幕生成通过指导冻结的 LLM 做出安全决策的程度进行优化，鼓励模型暴露对安全响应至关重要的视觉线索。在多个安全性和效用基准上的评估表明，SafeCap 在各种模型设置下显著提高了安全性表现，同时保持或增强了视觉效用，其表现优于 SFT、DPO 和 SafeGRP…
-
新的评估条件训练方法提高了LLM的泛化能力
研究人员推出了一种名为评估条件训练（ECT）的新型训练后框架，旨在增强大型语言模型（LLMs）的泛化能力。该方法通过将训练样本的条件设置为反馈的保真度来解决当前反馈机制的局限性。ECT可以与监督微调（SFT）和近端策略优化（PPO）等现有算法集成，以在存在不完美反馈信号的情况下提高模型性能。
-
SafeCap 框架使用图像字幕强化学习增强 LVLM 的安全性
研究人员开发了 SafeCap，这是一个新颖的强化学习框架，旨在增强大型视觉语言模型 (LVLM) 的安全性。SafeCap 利用一种学习到的自字幕机制，模型首先为图像生成一个与安全相关的字幕，然后该字幕会指导生成最终的、对齐的响应。这种方法在安全基准测试中显示出显著的改进，在保持视觉效用的同时，其表现优于监督微调和直接偏好优化等现有方法，甚至有所提高。
-
新的VIGIL系统使用LMM进行精确的视觉失真检测
研究人员推出了一种名为VIGIL的新系统，该系统专为用户生成图像中的精确视觉失真检测而设计。与依赖大型多模态模型（LMM）的文本驱动监督微调的先前方法不同，VIGIL采用了一种新颖的方法，将LLM解码器的不同层视为多个同步检测器。这种方法应用于包含超过14万张图像的VIGIL-140K训练集，旨在解决合成图像和真实图像之间显著的泛化差距，即所谓的合成到真实（S2A）挑战。