PulseAugur
中
实时 22:59:05
English(EN) The famous METR AI time horizons graph contains numerous severe errors [D]

分析揭示有影响力的METR AI时间跨度图存在严重错误

作者 PulseAugur 编辑部 · [2 个来源] ·

Transformer上发布的Nathan Witkin的最新分析发现，被广泛引用的METR AI时间跨度图存在许多严重错误。这些缺陷包括猜测的人类基线数据、通过按小时支付工资来激励更长的任务完成时间、有偏见的人类基准测试者样本，以及潜在的测试-训练数据污染。分析得出结论，该图表存在太多问题，无法得出有意义的结论，应被舍弃，以支持更可靠的信息。 AI

影响 削弱了关于AI快速发展的说法，敦促关注更严谨的研究方法。

排序理由 该集群批评了一个被广泛引用的图表，强调了方法上的缺陷并呼吁将其摒弃，这构成了对AI研究实践的评论。

在 r/MachineLearning 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

分析揭示有影响力的METR AI时间跨度图存在严重错误

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Commentary
该集群批评了一个被广泛引用的图表，强调了方法上的缺陷并呼吁将其摒弃，这构成了对AI研究实践的评论。
Source corroboration
2 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
other
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
Standard
On-topic for AI-industry coverage; kept in the public index.
Story freshness
136 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [2]

  1. r/MachineLearning TIER_1 English(EN) · /u/common_yarrow ·

    著名的METR AI时间跨度图包含许多严重错误[D]

    <!-- SC_OFF --><div class="md"><p>Nathan Witkin, a research writer at NYU Stern’s Tech and Society Lab, <a href="https://www.transformernews.ai/p/against-the-metr-graph-coding-capabilities-software-jobs-task-ai">writes</a> damningly about the famous METR AI time horizons graph in…

  2. r/Anthropic TIER_1 English(EN) · /u/common_yarrow ·

    著名的METR AI时间跨度图包含许多严重错误

    <table> <tr><td> <a href="https://www.reddit.com/r/Anthropic/comments/1towc1y/the_famous_metr_ai_time_horizons_graph_contains/"> <img alt="The famous METR AI time horizons graph contains numerous severe errors" src="https://external-preview.redd.it/YGupIMOYSbGCDtgHTF6wVzDz-NsT_fl…

相关实体

相关话题