Junming Zhang

新的基准 HABIT-Bench 揭示 LLM 代理难以推断用户习惯

研究人员推出了 HABIT-Bench，这是一个新的基准，旨在评估大型语言模型 (LLM) 代理从纵向弱证据中推断和利用用户习惯的能力。该基准在不同领域构建了合成用户历史，测试了代理处理异常、习惯变化和未被接受的建议的能力。使用 Qwen3-235B-A22B 和 GLM-5.3-Flash 模型进行的评估显示，即使是表现最好的记忆方法，准确率也仅达到 33.61%，这凸显了访问过去互动与有效推断和应用用户习惯之间存在显著差距。