$OneMillion-Bench

$OneMillion-Bench 基准测试语言代理在专家级专业任务上的表现

研究人员推出了 $OneMillion-Bench ($OMB)，这是一个旨在评估语言代理在复杂、真实世界专业场景中能力的新基准。与之前的基准不同，$OMB 包含 400 项由专家精心策划的任务，涵盖法律、金融、医疗保健和自然科学等领域，要求代理执行多步推理、使用工具并做出基于约束的决策。评估协议评估事实准确性、逻辑连贯性、实际可行性和专业合规性，旨在衡量代理在领域密集型应用方面的准备情况。