Part 3

参数量低于10亿的大语言模型（LLM）裁判在方向性错误上表现不佳；更大的模型表现出色

进行了一项实验，以调查大语言模型（LLM）裁判在识别方向性错误方面的准确性，方向性错误是指输出在语义上颠倒了任务指令。研究发现，参数量小于10亿的小型模型在这些错误上存在显著困难，误判了超过三分之一的明确矛盾和近一半的微妙矛盾。参数量大于40亿的大型模型在捕捉明确的方向性错误方面表现出近乎完美的准确性，微妙的错误也显著减少。作者还撤回了之前关于大语言模型（LLM）裁判的虚假说法，并纠正了对特定错误场景的错误描述。