MT-SDPO

新的MT-SDPO方法提升了多领域LLM的性能

研究人员开发了一种名为多教师自蒸馏策略优化（MT-SDPO）的新方法，以提高大型语言模型（LLM）在多个领域的性能。该技术通过有选择地从多个冻结的教师模型中学习来训练单个学生模型，确保每个样本都由对该特定实例最准确的教师进行监督。MT-SDPO显示出显著的改进，特别是在将Qwen3-8B模型的表现最差的领域提升了14个多点，并将其领域差距减少了74%。该方法强调通过经验证的可靠性而非简单的领域匹配来实现有效的知识蒸馏。