一篇新近发表在 arXiv 上的研究论文,探讨了大型语言模型 (LLM) 代理如何处理冲突指令。研究人员开发了一个名为 WhoWins 的基准测试,包含超过 1000 个场景,并测试了 14 个开源模型。研究结果表明,在单条消息中较早出现的指令通常比稍后出现的指令更容易被遵循,尽管当指令跨越多条消息传递时,这种模式会发生变化。研究还观察到,指令位置的有效性在不同模型系列(如 Qwen 和 gpt-oss)之间存在显著差异,并且当模型了解任务的上下文时,其表现会更好。 AI
影响 这项研究强调了在复杂操作环境中提高 LLM 代理可靠性和可预测性的一个关键领域。
排序理由 该集群包含一篇研究论文,详细介绍了新的基准测试和关于 LLM 代理行为的实验结果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →