directional label distillation

新方法通过关注方向性准确性来改进LLM知识迁移

研究人员开发了一种名为方向性标签蒸馏的新方法，以提高大型语言模型（LLM）向小型模型迁移知识的准确性。该技术解决了LLM可能在一个方向上（例如，父到子）回忆信息，但在反向（子到父）方面遇到困难的问题。通过让教师模型对其已知方向上的候选答案进行评分，学生模型接收到更准确的训练目标，从而在开放式准确性方面取得显著改进。即使在处理家庭关系等复杂数据时，这种方法也被证明是有效的，并且可以减轻教师生成的答案中的错误传播。