一个名为RE-call的新基准已被开发出来，用于衡量AI代理在信息不存在于其知识库时弃权回答的能力。该基准引入了“切除距离”的概念，以量化问题与其支持证据的距离，并揭示了性能随距离的变化很大。以前的基准提供了一个单一的标量值，掩盖了这种关键的细微差别，并导致关于弃权能力的冲突结果。 AI
影响 这项研究突显了评估AI代理的一个关键差距，表明当前的弃权指标不足，并且可能高估了能力。
排序理由 该项目描述了一个关于AI弃权能力的新基准和研究结果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
