Scored

新的SCOReD框架优化了推荐系统的大模型蒸馏

研究人员开发了一个名为SCOReD（推荐蒸馏的学生感知思维链优化）的新框架，以提高为推荐系统训练小型语言模型的效率和有效性。该方法解决了大型教师模型的高推理不确定性和小型学生模型的分布外轨迹等挑战。SCOReD解析教师轨迹，根据学生注意力对片段重要性进行评分，并动态选择编辑以修剪冗余信息，同时保留关键见解。这种优化的蒸馏过程带来了更清晰的学习信号，从而提高了NDCG和Recall@5等性能指标，同时显著缩短了推理长度。