LLMBar

研究发现：大型语言模型法官存在语言偏见

一项新研究评估了大型语言模型（LLMs）在评估响应时作为法官的功能，发现语言偏好会显著影响其判断。该研究引入了Judge-LS协议，该协议使用英语、中文以及响应对的语言切换变体来测试LLM法官。结果显示，与英语相比，中文和语言切换的呈现方式在10.7%至14.4%的案例中导致了偏好翻转，所有测试的法官在英语中的表现最佳。然而，该研究并未发现当翻译等效时存在系统性的偏向英语的偏见，因为大多数此类探测被判断为平局，而非平局的决定有时偏向中文。