研究人员在由大型语言模型(LLM)驱动的网络搜索代理中发现了一种称为“惯性偏差”的现象。这种偏差会导致代理在判断自身先前行为后果时变得不那么客观。一个新的基准测试 IBIS 被开发出来用于衡量这种偏差,结果显示模型在评估自己编写的历史记录时表现更差。为了解决这个问题,一个名为 NIS-Agent 的提议解决方案在网页分类和最终答案验证期间隔离了上下文,在多个基准测试中实现了具有竞争力的性能并降低了代币成本。此外,一个经过训练以抵抗惯性偏差的 8B 模型,当与 NIS-Agent 一起使用时,在深度研究任务上的表现与 GPT-4o 相当。 AI
影响 解决了大型语言模型代理的一个关键故障模式,有可能提高其在复杂研究任务中的可靠性和效率。
排序理由 学术论文,详细介绍了大型语言模型代理的新偏差和提出的缓解措施。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →