Role-Playing Language Agents

新基准评估AI角色扮演代理的角色一致性

研究人员开发了ArcANE，这是一个旨在评估角色扮演语言代理（RPLAs）在一段时间内保持角色一致性能力的新基准。与侧重于事实回忆的先前基准不同，ArcANE评估代理在叙事过程中适应角色不断发展的心理轨迹的程度。该基准由17部小说和80个角色构成，将故事划分为不同阶段，以测试代理在文本内和小说场景中的响应能力，证明了角色弧线条件化能显著提高性能，尤其是在信息无法直接从源文本中检索时。