一项名为Realtime-Bench的新基准已被开发出来,用于评估前沿AI模型在实时交互环境中执行任务的能力。该基准包含动态任务,其中延迟的行动会降低成功率。使用Realtime-Bench进行的实验表明,即使是最好的模型,在考虑实际推理延迟的“Wall Clock”设置下,成功率也仅为44%。该基准还引入了“Paused Clock”和“Token Clock”,以区分服务延迟和模型固有的实时流式传输能力,揭示了在时间压力下决策质量与及时执行之间的权衡。 AI
影响 强调了AI模型在实时交互任务中的挑战,并为提高时间感知和自适应推理能力指明了方向。
排序理由 该条目是一篇研究论文,介绍了一个用于评估AI模型的新基准。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX Code Finder for Papers
- Connected Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- Litmaps
- Paused Clock
- Realtime-Bench
- ScienceCast
- scite Smart Citations
- Token Clock
- Wall Clock
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →