Escalate

新研究评估大型语言模型代理在面对冲突数据时的“认知谦逊度”· 跟踪3 个来源

一篇新的研究论文引入了“认知谦逊度”（EH）的概念来评估大型语言模型（LLM）代理，重点关注它们如何处理冲突信息。该研究“准确但不谦虚：在知识冲突下评估大型语言模型代理的认知谦逊度”提出，在面对矛盾证据时，衡量代理识别、应对和沟通不确定性的能力。研究人员发现，高任务准确性并不总是与认知谦逊度相关，因为一些代理可能会检测到冲突，但在最终输出中未能沟通其不确定性。该论文建议，提高 EH 可能需要采取措施来平衡准确性与代理对其知识局限性的认识。