实体
Pairwise comparison
Pairwise comparison
PulseAugur coverage of Pairwise comparison — every cluster mentioning Pairwise comparison across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
人类评估在大型语言模型质量评估中仍然至关重要
人类评估对于评估大型语言模型（LLMs）至关重要，因为BLEU分数等自动化指标常常无法捕捉连贯性、创造性和事实准确性等细微的质量。这种方法对于高风险应用至关重要，它使用李克特量表评分和成对比较等方法，通过人类反馈强化学习（RLHF）等技术来引导模型产生期望的行为。人类评估者的一致性通过科恩的Kappa系数等指标进行衡量，确保评估标准清晰且任务定义明确。
-
LLM评判者在评估任务中表现出偏见和漏洞 · 追踪4个来源
近期研究强调了大型语言模型（LLM）评判者中存在的显著偏见和漏洞，这些评判者越来越多地被用于评估AI输出。研究表明，这些评判者容易受到模型提取攻击，其评判能力可以在不同评估协议下被高精度地复制。此外，LLM评判者表现出锚定效应偏见，即先前的分数会系统性地影响后续的判断，从而损害评估的独立性。即使在被提示考虑变化或忽略元数据的情况下，这些偏见仍然存在，影响了代码评估和其他任务的可靠性。