实体
ForecastBench-Sim
ForecastBench-Sim
PulseAugur coverage of ForecastBench-Sim — every cluster mentioning ForecastBench-Sim across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新基准使用模拟游戏世界来测试 AI 预测能力
研究人员开发了 ForecastBench-Sim，这是一个用于评估 AI 预测能力的新基准。该基准利用策略游戏 Freeciv 的回放来创建一个模拟环境，克服了现实世界预测的局限性，例如结果分辨率慢和尾部事件稀少。ForecastBench-Sim 允许进行连续或二元预测问题、条件查询以及在受控环境中研究罕见结果。
-
能力更强的LLM在特定高风险任务上的预测表现更差
一项新的研究论文介绍了一个名为ForecastBench-Sim (FBSim) 的基准测试，旨在评估语言模型在具有超线性增长和制度变更风险的预测任务上的表现。研究发现，包括Llama-3.1在内的能力更强的语言模型，在这些特定类型的问题上往往会产生更差的分布预测。这种反向缩放效应，即在某些情况下能力增强反而导致准确性下降，在模拟的流行病以及来自金融和公共卫生领域的真实世界数据中都有观察到。