RL-for-language-models

研究表明，AI代理演示通常衡量的是辅助工具，而非模型能力

作者认为，围绕语言模型的流程本身构成核心系统的普遍看法是错误的。虽然像分步计划和批评者这样的脚手架在训练期间可能很有用，但它们在评估时被移除后，常常会掩盖模型的真实能力。AutoScaffold论文表明，模型可以内化从脚手架中学到的知识，即使在剥离了提示和分解后也能表现良好，这表明脚手架充当了课程，而不是拐杖。这与典型的代理演示形成对比，后者衡量的是周围辅助工具（例如，重试循环、硬编码提示）的有效性，而不是模型固有的推理能力。