ArgQuality

可执行评分标准框架提升LLM评估效率

研究人员推出了一种名为ExecRubrics的新框架，该框架将评估评分标准表示为可执行的Python程序。这种方法旨在通过提供固定、可检查的决策程序来提高语言模型评估的透明度和效率。ExecRubrics可以替代昂贵的黑盒LLM裁判，提供更快、更少歧义的评估，尤其适用于长篇回复。该框架在HealthBench、HelpSteer和ArgQuality等基准测试中取得了成功，其准确性与传统的自然语言评分标准相当或更高，同时显著降低了评估延迟。