JAVIS-Syn

新的JAVIS框架支持实时视听对话式代理

研究人员推出JAVIS，一个新颖的端到端框架，专为实时视听对话式代理设计。该系统从共享的大型语言模型（LLM）派生的统一表示中生成同步语音和面部表情。为了解决合适训练数据稀缺的问题，还开发了一个名为JAVIS-Syn的合成语料库，包含334小时的富有表现力的对话。实验表明，JAVIS能够实现比现有方法显著更低的延迟，同时还能提高面部表情和唇部同步的恰当性。