SpeechGym

SpeechGym 通过音频强化学习直接训练语音代理

研究人员开发了 SpeechGym，这是一个新颖的音频原生环境，旨在通过强化学习训练语音代理。与依赖基于文本的交互或独立的文本到语音和自动语音识别系统的先前方法不同，SpeechGym 通过让两个全模态模型直接进行音频对话来实现端到端训练。这种方法通过利用基于结果的奖励来解决感知错误（如听错论点）和行为问题（如未经授权的操作）。训练后的代理在语音基准测试中的任务成功率和效率方面表现出显著的改进。