实体
Gotree
Gotree
PulseAugur coverage of Gotree — every cluster mentioning Gotree across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
AI模型通过新的MirrorCode基准测试，开始处理大型软件项目
一个名为MirrorCode的新基准测试已被开发出来，用于评估AI模型在大规模、长周期的软件工程任务上的表现。该基准测试涉及从头开始重新实现整个程序，其中一项任务耗资2,600美元，AI花费19天完成。值得注意的是，Claude Opus 4.7成功地重新实现了名为gotree的生物信息学工具包，这项任务估计需要一名人类工程师花费数周时间，而AI仅用了14小时就完成了，花费为251美元。虽然该基准测试旨在防作弊，但预训练数据中可能存在…
-
AI在数小时内重新实现复杂程序，新基准测试显示
一项名为MirrorCode的新基准测试表明，AI可以在几小时内以100-400美元的成本重新实现复杂的软件程序。这些任务通常需要人类程序员花费数周时间才能完成，显示出AI在理解和复制代码方面的能力取得了显著进展。然而，基准测试中的25个程序中有8个仍未解决，这表明了当前AI能力的局限性。
-
MirrorCode基准测试AI仅凭行为重建软件的能力 · 已追踪2个来源
研究人员推出了MirrorCode，这是一个新的基准测试，旨在评估AI在仅从观察到的行为中重建整个软件项目（无需访问原始源代码）的能力。该基准测试包含25个多样化的目标程序，包括Unix实用程序和生物信息学工具，要求AI代理在各种测试中精确匹配原始程序的输出。目前的AI模型在MirrorCode上已能达到56%的准确率，展示了它们在长时程软件工程任务中的能力，例如重新实现一个名为gotree的16000行生物信息学工具包。Mirror…