Jeremy Barnes

LLM作为评判者（LLM-as-a-Judge）的评估方法因可靠性和偏见问题受到审视 · 跟踪4个来源

近期研究对大型语言模型（LLMs）在用作评估AI生成文本的评判者时的可靠性提出了担忧。研究表明，LLM评判者可能过度依赖评分标准本身，即使不审阅生成的内容也能给出可预测的分数。此外，当输入文本或评估标准发生变化时，这些模型有时未能调整其判断，这表明其推理能力不够稳健。这项工作强调了深入研究LLM驱动的评估系统的机制和潜在偏见的必要性，尤其是在多语言环境中。