Bidirectional Preference Optimization

TeachBack框架通过双向偏好优化改进AI模型训练

研究人员推出了一种新颖的基于策略的自蒸馏（OPSD）框架TeachBack，以增强语言模型的训练。TeachBack通过不仅从教师模型学习，还教会教师如何提供更有效的指导，来解决现有OPSD方法的局限性。这是通过控制提供给教师的参考解决方案的长度和风格来实现的，鼓励教师探索和重新解决问题，而不是仅仅依赖参考。在推理任务上的实验表明，与当前的OPSD技术相比，TeachBack显著提高了学生模型的性能。