一篇新的研究论文将“代理社交重新进入”作为一个多维度的评估问题,用于大型语言模型(LLM)代理。该研究区分了三种能力:寻找(Finding)、返回(Returning)和重建(Reconstructing),并提出了一个共享快照评估框架来独立衡量它们。对六种LLM配置的评估表明,虽然识别目标对话随着重新出现而得到改善,自主回复随着持久记忆而增加,但两者都未能带来上下文重建的一致性提升。 AI
影响 为在持久社交环境中评估LLM代理能力提供了一种新方法。
排序理由 学术论文,介绍了一种新的LLM代理评估框架。[lever_c_demoted from research: ic=1 ai=1.0]
- agent social re-entry
- arXiv
- Finding Dory
- large language model
- Reconstructionist Judaism
- shared-snapshot evaluation framework
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →