实体
DSB-IFEval
DSB-IFEval
PulseAugur coverage of DSB-IFEval — every cluster mentioning DSB-IFEval across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
研究发现语音助手在指令暗示时表现不佳
一项名为DSB-IFEval的新评估显示,当语音助手接收到暗示性指令而非明确指令时,其性能会下降高达9.7%。该评估测试了八种不同助手角色的1038个场景,以量化这种影响。
-
新基准评估语音代理中的隐式指令遵循
引入了一个新的基准 DuplexSpeechBench-IFEval (DSB-IFEval),用于评估全双工语音代理根据角色或个性隐式遵循指令的能力,而不是显式命令。该基准包含八个助手角色和五个条件协议的 1,038 个测试用例。结果表明,虽然 F-Actor 和 PersonaPlex 等模型对基于个性的指令敏感,但 GPT-Realtime 和 MiniCPM-o 等模型在个性内容方面表现出色,但在适应地板行为方面却遇到困难。一…