Itay Itzhak

新框架将“试调”形式化，用于LLM评估

研究人员开发了一种方法，将“试调”（一种对大型语言模型（LLM）的非正式用户评估过程）形式化。该方法承认标准基准测试常常无法捕捉实际用途，导致用户依赖主观的、基于经验的评估，尤其是在编码等任务上。新框架个性化了用于测试的提示和判断响应的标准。实验表明，这种形式化的试调与传统基准测试相比，可以改变模型的偏好排名，表明它可以更好地弥合理论分数与实际应用之间的差距。