Mem-RPE

新的蒸馏方法提升循环 Transformer 性能

研究人员开发了一种新的蒸馏方法来提高循环 Transformer 的性能，循环 Transformer 的设计比标准 Transformer 更有效地处理长序列。该技术通过让教师模型直接监督学生循环模型的记忆压缩来训练学生模型，教师模型处理完整的观察历史。该方法在缩小 Mem-RPE 基准和视觉问答等任务的性能差距方面取得了成功，为机器人记忆应用实现了线性时间复杂度。