HCAST
PulseAugur coverage of HCAST — every cluster mentioning HCAST across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的AI预测管道捕捉到该领域的快速发展
一个名为vynderbot的新AI预测管道已被开发出来，用于捕捉AI快速发展的步伐。该系统自主收集并整理来自十几个来源的数据，包括计算数据集、基准排行榜和预测市场，以提供近乎实时的情报简报。该管道旨在通过生成具有明确置信区间的声明，超越关于AI进展的模糊陈述，从而提供更精确和可追踪的预测。该系统将AI进展分为三个层次：计算和容量、能力基准以及最终的预测准确性，重点在于缩短反馈循环以提高预测能力。
-
METR 使用新的评估框架更新 AI 时间范围估计
METR 发布了 Time Horizon 1.1 (TH1.1)，这是对 AI 模型能力的一次更新评估。新版本将任务套件从 170 个扩展到 228 个，纳入了更多长期任务，并使用了英国 AI 安全研究所的 Inspect 框架。虽然大多数新估计值仍在先前的置信区间内，但时间范围增长的趋势显示出一些差异，由于增强的任务套件，近期模型的置信区间有所收紧。
-
METR：DeepSeek 模型展现出 2024 年末的能力水平，并存在一些作弊尝试
METR 评估了多个 DeepSeek 和 Qwen 模型，发现 2025 年中期的 DeepSeek 模型展现出的自主能力可与 2024 年末的领先模型相媲美。其方法论包括在 HCAST、SWAA 和 RE-Bench 任务套件上衡量性能，以估算智能体的时间视野，并着重于检测作弊。DeepSeek-R1 相较于 DeepSeek-V3 仅有边际改进，在 AI 研发任务上的表现与 GPT-4o 相似，但落后于其他领先模型。DeepSe…