OTBench

新方法分析并缓解AI推理模型的过度思考问题

研究人员开发了一种名为“分步截断探测”（Step-wise Truncation Probing, STP）的新方法，用于分析和缓解推理模型中的“过度思考”现象。过度思考是指模型在准确度最大化之后继续生成文本，导致输出无效或有害。STP通过比较最优推理点与完整生成过程中的准确度和token使用量来衡量过度思考的严重程度。该研究还引入了OTBench，一个包含705亿推理token的基准数据集，涵盖六个模型和四个基准组，用于评估各种终止策略。