研究人员推出了RoleBreak,一个旨在评估口语对话系统长时程角色扮演能力的新基准。该基准包含超过300个角色和数千个人工验证的对话轮次,并设有评估角色一致性、交互质量、安全性和语音情感在长时间对话中的特定标准。对九种系统配置的评估显示,尽管当前模型在保持语义角色方面优于语音情感,但在长期一致性方面存在困难,平均在约11轮后就会在角色和安全方面出现失败。语言模型规模的扩大显著提高了语义鲁棒性,但对语音表现力的影响甚微,这表明口语角色扮演系统仍存在持续的差距。 AI
影响 突出了在长时程口语对话系统中保持角色一致性和语音表现力方面存在的持续挑战。
排序理由 该项目是一篇研究论文,介绍了一个用于评估AI系统的新基准。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- Connected Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- Influence Flower
- Litmaps
- RoleBreak
- ScienceCast
- scite Smart Citations
- Text To Speech
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →