Langfuse Halo

大型语言模型（LLM）的评估方法会显著扭曲结果，影响公平性和检索增强生成（RAG）。

近期大型语言模型（LLM）评估方面的进展凸显了方法论的细微变化如何显著影响结果。调整评分量表，即使是简单的数值变化，平均也能使LLM评委的判决改变约0.10，并改变约20%文本的类别分配。此外，在检索增强生成（RAG）系统中检测幻觉的有效性在多大程度上取决于检索质量；当检索效果不佳时，不确定性本身是不够的。对LLM公平性的评估也揭示了其敏感性，因为不同的评分方法，例如多项选择题与自由生成，可能导致截然不同的公平性评估。