Matched Trajectory Replay

新协议评估语言模型代理的置信度和检索策略

研究人员开发了一种名为匹配轨迹回放的新协议，用于评估语言模型代理如何使用置信度信号来决定是回答、检索信息还是推迟。该方法应用于 Mistral、GPT 和 Qwen 等模型在问答数据集上的表现，揭示了校准可以改变代理回答问题的承诺程度。虽然校准提高了某些数据集的准确性，但也降低了覆盖率并增加了检索使用，表明其转向了更谨慎的操作点，而不是置信度估计的改进。