Lucía Magalí Cabrera

研究将更长的提示和解决方案与大型语言模型数学推理失败联系起来

一篇题为“太长不解决”的新研究论文调查了提示和解决方案的长度对大型语言模型在数学推理任务中表现的影响。该研究利用了一个新构建的、由专家编写的数学问题对抗性数据集，发现提示长度和解决方案长度的增加都与模型失败率的升高相关。虽然经过难度调整的分析显示这些长度变量与模型分离之间存在微弱的负相关，但主要发现强调，结构长度是这些数学基准的经验难度的一个重要因素。