研究人员开发了ArcANE，这是一个旨在评估角色扮演语言代理（RPLAs）在一段时间内保持角色一致性能力的新基准。与侧重于事实回忆的先前基准不同，ArcANE评估代理在叙事过程中适应角色不断发展的心理轨迹的程度。该基准由17部小说和80个角色构成，将故事划分为不同阶段，以测试代理在文本内和小说场景中的响应能力，证明了角色弧线条件化能显著提高性能，尤其是在信息无法直接从源文本中检索时。 AI
影响 该基准有望推动更复杂的AI代理的开发，使其能够在交互式叙事中进行细致、动态的角色扮演。
排序理由 该集群包含一篇介绍语言代理新评估基准的研究论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.05553v1 Announce Type: new Abstract: Role-playing language agents (RPLAs) should play characters whose values and behavior evolve as the story progresses, not maintain a fixed persona. Existing benchmarks measure factual recall at a given chapter, not whether responses…
Role-playing language agents require dynamic character development that evolves through narratives, necessitating benchmarks that evaluate psychological trajectory alignment rather than static factual recall, with ArcANE demonstrating superior performance when character arc infor…