Nathan Witkin

分析发现，METR AI时间跨度图充斥着严重错误

纽约大学斯特恩学院技术与社会实验室的研究撰稿人Nathan Witkin最近的一项分析发现，被广泛引用的METR AI时间跨度图存在许多严重错误。这些缺陷包括捏造人类基线数据、通过按小时支付报酬来激励基准测试者花费更长时间、人类测试者样本存在偏见，以及潜在的测试-训练数据污染。Witkin认为，该图表的显著不准确性使其在得出关于AI能力及其对软件开发等任务影响的有意义结论方面不可靠。