PredAct-Bench

新基准评估带噪声工具的AI对话代理

研究人员推出了PredAct-Bench，这是一个新的基准，旨在评估在所使用的工具容易出错的情况下，协助人类决策的对话代理。该基准侧重于教育场景，使用OULAD和PREDACT-CS等数据集，评估AI代理在面对不完美的工具输出时，指导教师等用户的情况。当前最先进的模型在向用户提供足够的透明度方面存在困难，可能导致过度依赖不准确的建议或幻觉，凸显了改进AI决策支持系统的必要性。