Jiwon Moon

LLM评判者在评估任务中表现出偏见和漏洞 · 追踪4个来源

近期研究强调了大型语言模型（LLM）评判者中存在的显著偏见和漏洞，这些评判者越来越多地被用于评估AI输出。研究表明，这些评判者容易受到模型提取攻击，其评判能力可以在不同评估协议下被高精度地复制。此外，LLM评判者表现出锚定效应偏见，即先前的分数会系统性地影响后续的判断，从而损害评估的独立性。即使在被提示考虑变化或忽略元数据的情况下，这些偏见仍然存在，影响了代码评估和其他任务的可靠性。