Oracle Performance Gap

研究发现：强化学习基准测试未能揭示大型语言模型的失败

一篇新的研究论文质疑了当前用于评估大型语言模型（LLM）强化学习（RL）的基准测试的有效性。研究发现，直接在现有基准测试的测试集上进行训练，其性能与在指定的训练集上进行训练几乎相同，这表明基准测试未能区分真正的进展。研究人员提出了一套诊断套件和Oracle Performance Gap（OPG）指标来量化这个问题，并强调尽管当前的RL方法在基准测试得分很高，但在各种挑战中缺乏泛化能力。