实体 Eval-Pair Matrix

Eval-Pair Matrix

PulseAugur coverage of Eval-Pair Matrix — every cluster mentioning Eval-Pair Matrix across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_141539 · Jul 14 · 04:00

新协议探测 LLM 裁判在 RAG 系统中的偏见

一种名为 Eval-Pair Matrix 的新元评估协议已被开发出来，用于评估大型语言模型 (LLM) 在检索增强生成 (RAG) 系统中作为裁判时的可靠性。该方法通过让 LLM 评估由自身和其他模型生成的答案，并使用扰动的段落，来识别自我宽容。研究发现，成对的同模型召回效应可忽略不计，观察到的最显著的差距是避免诱导性声明的答案的标记率较低。研究结果表明，RAG 裁判研究应报告全面的矩阵、成对答案效应和标签任务对齐，以提高透明度。