PulseAugur
中
实时 20:23:26
English(EN) From Text to Voice: A Reproducible and Verifiable Framework for Evaluating Tool Calling LLM Agents

新框架评估 LLM 语音工具调用能力

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一个新框架，用于评估大型语言模型（LLM）在处理语音输入时的工具调用能力，解决了现有基于文本的基准测试的局限性。该框架通过整合文本转语音、说话人变化和环境噪声，将基于文本的评估转换为基于音频的评估，同时保留了原始标注。在 Gemini-3.1-Flash-Live 和 GPT-Realtime-1.5 等模型上对 Confetti 和 When2Call 等转换数据集进行的评估显示，性能因模型和任务而异，Gemini-3.1-Flash-Live 在 Confetti 上得分最高，GPT-Realtime-1.5 在 When2Call 上得分最高。研究还注意到文本和语音输入之间的性能差距，这通常是由于语音中对参数值的误解造成的，并提出了一个 LLM 作为裁判的协议，用于隐私保护评估。 AI

影响 该框架可以改进语音 AI 代理的评估，从而带来更可靠的语音助手和工具。

排序理由 该集群是关于一篇已发表的学术论文，详细介绍了 LLM 代理的新框架和评估方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新框架评估 LLM 语音工具调用能力

本文如何被排名

Signal score
1 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该集群是关于一篇已发表的学术论文，详细介绍了 LLM 代理的新框架和评估方法。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
paper, product
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
1 days old
Coverage has settled into its steady-state source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Md Tahmid Rahman Laskar, Xue-Yong Fu, Seyyed Saeed Sarfjoo, Quinten McNamara, Jonas Robertson, Shashi Bhushan TN ·

    From Text to Voice: A Reproducible and Verifiable Framework for Evaluating Tool Calling LLM Agents

    arXiv:2605.15104v3 Announce Type: replace Abstract: Voice agents increasingly require reliable tool use from speech, whereas prominent tool-calling benchmarks remain text-based. We study whether verified text benchmarks can be converted into controlled audio-based tool calling ev…

相关实体

相关话题