ForecastBench
PulseAugur coverage of ForecastBench — every cluster mentioning ForecastBench across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新方法提高LLM预测的一致性和准确性
研究人员开发了一种新方法,以提高大型语言模型(LLM)生成的预测的逻辑一致性。该方法侧重于完善每次预测背后的推理过程,从而有助于同时解决不一致问题并提高准确性。当应用于基于GPT-5.1的预测系统并在ForecastBench基准上进行测试时,该方法将Brier分数提高了9.3%,并显著减少了结构性不一致。
-
新的AI预测管道捕捉到该领域的快速发展
一个名为vynderbot的新AI预测管道已被开发出来,用于捕捉AI快速发展的步伐。该系统自主收集并整理来自十几个来源的数据,包括计算数据集、基准排行榜和预测市场,以提供近乎实时的情报简报。该管道旨在通过生成具有明确置信区间的声明,超越关于AI进展的模糊陈述,从而提供更精确和可追踪的预测。该系统将AI进展分为三个层次:计算和容量、能力基准以及最终的预测准确性,重点在于缩短反馈循环以提高预测能力。
-
LLM评估方法改编心理测量学理论,以实现更公平的基准测试比较
研究人员开发了一种新的评估大型语言模型(LLM)的方法,该方法改编自心理测量学中的项目反应理论(IRT)。这种方法将每个基准测试视为一个“项目”,并根据LLM在各种基准测试中的表现来模拟其“能力”,同时考虑了基准测试的难度和区分度。这种基于IRT的方法可以实现模型之间更准确的比较,即使它们在不同的基准测试集上进行了评估,从而解决了简单平均法的局限性。
-
LLM通过参数高效方法适应时间序列预测 · 跟踪2个来源
研究人员正在探索参数高效的方法来使大型语言模型(LLM)适应时间序列预测任务。一项研究将时间序列数据直接投影到GPT-2模型的嵌入空间中,在更新不到1%的参数的情况下实现了具有竞争力的准确性。另一篇论文引入了一个“能力门控”,通过估计LLM预测相对于现有预测的边际价值来选择性地整合LLM预测,平均而言提高了准确性,但会服从强大的市场预测。
-
贝叶斯语言预测器代理在预测基准测试中达到最先进水平
研究人员开发了贝叶斯语言预测器(BLF),这是一个为二元预测任务设计的代理系统。BLF 将数值概率估计与自然语言证据摘要相结合,并通过大型语言模型进行迭代更新。这种新颖的方法在 ForecastBench 基准测试中取得了最先进的性能,优于 GPT-5 和 Grok-4.20 等现有方法。