Transformer上发布的Nathan Witkin的最新分析发现，被广泛引用的METR AI时间跨度图存在许多严重错误。这些缺陷包括猜测的人类基线数据、通过按小时支付工资来激励更长的任务完成时间、有偏见的人类基准测试者样本，以及潜在的测试-训练数据污染。分析得出结论，该图表存在太多问题，无法得出有意义的结论，应被舍弃，以支持更可靠的信息。 AI
影响 削弱了关于AI快速发展的说法，敦促关注更严谨的研究方法。
排序理由 该集群批评了一个被广泛引用的图表，强调了方法上的缺陷并呼吁将其摒弃，这构成了对AI研究实践的评论。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>Nathan Witkin, a research writer at NYU Stern’s Tech and Society Lab, <a href="https://www.transformernews.ai/p/against-the-metr-graph-coding-capabilities-software-jobs-task-ai">writes</a> damningly about the famous METR AI time horizons graph in…
<table> <tr><td> <a href="https://www.reddit.com/r/Anthropic/comments/1towc1y/the_famous_metr_ai_time_horizons_graph_contains/"> <img alt="The famous METR AI time horizons graph contains numerous severe errors" src="https://external-preview.redd.it/YGupIMOYSbGCDtgHTF6wVzDz-NsT_fl…