Seq@K

新的Seq@K指标评估语言模型在迭代反馈中的表现

引入了一种名为Seq@K的新评估协议，以更好地评估语言模型从顺序反馈中学习的能力。与传统的Pass@1或Pass@K等指标不同，Seq@K衡量模型在给定尝试次数内解决问题的成功率，并在每次失败后纳入反馈。这种方法揭示了不同的模型性能格局，突出了排名变化以及更有效配置的可能性。对Seq@K下模型轨迹的分析还提供了对其迭代改进行为以及反馈如何影响其响应的见解，强调了在代理系统中仔细设计反馈循环的必要性。