EvalLLM

新论文评估 RAG 指标与人类评分的对比结果

一篇新论文探讨了用于评估检索增强生成（RAG）系统的各种指标的有效性。该研究涉及一个源自业务数据的问答数据集，其中人类注释者对生成的响应和检索到的文本片段进行了评分。Ragas、DeepEval、RAGChecker 和 Opik 的指标与人类评估者评分和召回率等标准指标进行了比较。研究还讨论了方法上的局限性，并提出了未来的研究方向，指出这项工作是 EvalLLM 上发表的一篇法语论文的英文翻译。