研究人员开发了一个名为SCOReD（Student-Aware CoT Optimization for Recommendation Distillation）的新框架，旨在提高在推荐系统中利用大型模型（教师）的推理轨迹来训练小型语言模型（学生）的效率和有效性。SCOReD通过将教师轨迹解析为类型化片段，并利用学生模型的注意力来评估其重要性，解决了大型教师模型推理不确定性和分布外轨迹等挑战。该框架动态选择每个片段的编辑，修剪冗余信息同时保留关键细节，从而为学生模型提供更清晰的学习信号。这种优化带来了性能的提升，SCOReD优化的CoT在NDCG方面提高了1.56%，Recall@5方面提高了1.9%，同时推理长度减少了27.3%。 AI
影响 通过优化教师-学生知识转移，提高了推荐系统模型训练的效率和性能。
排序理由 该集群包含一篇研究论文，详细介绍了一种优化语言模型训练的新方法。
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.05734v1 Announce Type: cross Abstract: Chain-of-thought (CoT) distillation in the recommendation domain is a necessary precursor to RL training, but raw teacher traces are ill-suited to this task. Large teachers approach the recommendation task with unusually high reas…
Chain-of-thought (CoT) distillation in the recommendation domain is a necessary precursor to RL training, but raw teacher traces are ill-suited to this task. Large teachers approach the recommendation task with unusually high reasoning uncertainty, repeatedly rechecking their ans…