KL-based metrics

新指标预测LLM自蒸馏中特权信息的有效性

研究人员开发了新的方法来预测大型语言模型（LLM）策略内自蒸馏（OPSD）中特权信息（PI）的有效性。研究发现，PI的内容和来源对训练增益有显著影响，信息密度更高的轨迹和来自更强大生成器的PI能带来更好的结果。研究发现，两个基于KL的指标，即采样令牌反向KL和误差步KL对比，比直接效用估计更能一致地预测训练后性能，为在OPSD中构建和评估PI提供了实际指导。