human uplift studies

人工智能评估研究面临有效性挑战，论文发现

一篇新发表在 arXiv 上的论文详细介绍了通过人类提升研究评估前沿人工智能系统时面临的方法学挑战。这些研究使用随机对照试验来衡量人工智能对人类绩效的影响，并越来越多地被用于指导人工智能治理。然而，该论文强调了标准因果推断假设与人工智能、用户熟练度和现实世界环境的快速发展性质之间存在的张力，这可能会影响研究的有效性。该研究综合了专家识别的挑战，并提出了澄清此类证据的适当使用和解释限制的解决方案。