实体 System1-Arena

System1-Arena

PulseAugur coverage of System1-Arena — every cluster mentioning System1-Arena across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_303344 · Oct 16 · 04:00

新的基准System1-Arena测试AI决策速度与准确性

研究人员推出了System1-Arena，这是一个新的基准，旨在评估AI模型在做出离散决策方面的能力，区分“系统1”（快速、概率性）和“系统2”（基于推理）的方法。该基准包含92,000个问题，涵盖105个任务和138个闭环环境，测试模型在从文本分类到机器人和驾驶等复杂代理任务的各种能力。初步评估显示，大型系统1模型在准确性和概率校准方面可以媲美甚至超越快速的闭源LLM，而延迟却只有一小部分，尽管生成式推理模型在显著更高的成本下实现了…