role-playing agents

新基准测试将大型语言模型角色扮演与角色识别分离

研究人员开发了一种新的评估方法，用于大型语言模型（LLMs）中的角色扮演代理（RPAs），以更好地评估其真实能力。当前的方法通常依赖于识别著名的虚构角色，这可能会掩盖模型实际的角色扮演能力。通过匿名化角色，研究发现性能显著下降，表明模型利用了训练记忆而非真实的角色扮演技能。该研究还探讨了人格增强作为在匿名环境中提高 RPA 性能的策略，证明了包含人格描述可以增强代理的行为和一致性。