研究人员推出了 HABIT-Bench,这是一个新的基准,旨在评估大型语言模型 (LLM) 代理从纵向弱证据中推断和利用用户习惯的能力。该基准在不同领域构建了合成用户历史,测试了代理处理异常、习惯变化和未被接受的建议的能力。使用 Qwen3-235B-A22B 和 GLM-5.3-Flash 模型进行的评估显示,即使是表现最好的记忆方法,准确率也仅达到 33.61%,这凸显了访问过去互动与有效推断和应用用户习惯之间存在显著差距。 AI
影响 强调了当前 LLM 代理记忆系统的一个关键限制,表明未来的研究需要专注于更强大的习惯推断机制。
排序理由 该集群描述了一篇介绍用于评估 LLM 代理能力的基准的新学术论文。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →