Finance Eval

AI模型评估从令牌预测演进到复杂工作流

前沿AI模型的评估已经经历了不同的时代，从简单的令牌预测和对数似然评分，到评估指令遵循，再到验证数学、代码、事实性和安全性。随后的时代侧重于推理能力，最近则关注端到端工作流，模型利用工具来完成复杂任务。这一进展使得评估单位从单个令牌扩展到整个作业，评分方法也从似然度转向精确匹配、评分标准和环境结果。在这些时代中，一个重大的挑战是评估方差，即即使在同一模型上多次运行相同的评估，分数也可能因采样噪声而波动。