PulseAugur
实时 14:12:30
实体 STT-Arena

STT-Arena

PulseAugur coverage of STT-Arena — every cluster mentioning STT-Arena across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
时间线
  1. 2026-05-18 research_milestone Introduction of the STT-Arena benchmark for evaluating LLM adaptability in dynamic environments. 来源
最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_38257 ·

    新的STT-Arena基准揭示大型语言模型在动态环境中存在困难

    研究人员推出了STT-Arena,这是一个新的基准,旨在评估大型语言模型在具有时空变化(spatio-temporal changes)的动态环境中适应和重新规划的能力。该基准包含227个交互式任务,模拟了现实世界中可能出现的、任务中途的干扰会使现有计划失效的场景。评估显示,即使是像Claude-4.6-Opus这样最先进的模型,在处理这些动态变化时也面临困难,准确率不到40%。研究还识别了大型语言模型常见的失败模式,例如使用过时的状…