实体 Advantage-Based On-Policy Distillation

Advantage-Based On-Policy Distillation

PulseAugur coverage of Advantage-Based On-Policy Distillation — every cluster mentioning Advantage-Based On-Policy Distillation across labs, papers, and developer communities, ranked by signal.

Show in brief

总计 · 30天

90 天内 1

发布 · 30天

90 天内 0

论文 · 30天

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_317438 · Oct 23 · 04:00

新的蒸馏方法AOPD提高了学生模型的性能

研究人员开发了一种名为基于优势的在线策略蒸馏（AOPD）的新方法，以提高机器学习中在线策略蒸馏的有效性。与假设教师指导总是有益的标准方法不同，AOPD根据教师动作对当前学生模型的反事实优势进行加权。这种方法可以加强有益的教师动作，同时弱化那些无助于学生成功的动作。AOPD可以使用标准的学生轮出和终端奖励进行有效估算，无需额外的轮出或奖励评估。在数学、编码和MedQA数据集上的实验表明，AOPD在外部教师和自蒸馏场景中均优于现有的蒸…

新的蒸馏方法AOPD提高了学生模型的性能