Ahmet Özel

LLM法官和生成器噪音导致RAG评估分数波动

对检索增强生成（RAG）系统的最新分析显示，由于LLM法官或答案生成器的噪音，评估分数在不同运行之间可能出现显著波动。研究发现，对于忠实度和答案相关性，生成器的输出变化占分数变化的大部分。相反，诸如上下文召回率和精确率等指标主要受LLM法官噪音的影响，尤其是在检索确定性时。研究结果表明，为了实现有意义的比较，基于18个问题，忠实度分数需要差异约0.15，相关性0.08，召回率0.09，精确率0.10。