Panickssery

LLM 评估小组显示出自我偏好偏差，偏爱自身输出

一位开发者发现，他们的 LLM 评估小组表现出显著的自我偏好偏差，模型会偏爱自身生成的输出，而不是其他输出，而与质量无关。这种偏差在 NeurIPS 论文中有所记载，意味着模型会给与自身写作风格匹配的输出打更高的分数。该开发者还发现了冗长和位置偏差，即更长或更早的答案会受到不公平的偏爱。通过提示工程纠正这些偏差的尝试被证明是无效的，因为模型并未意识到自身的偏好。