Human Evaluation of Procedural Knowledge Graph Extraction from Text with Large Language Models
PulseAugur coverage of Human Evaluation of Procedural Knowledge Graph Extraction from Text with Large Language Models — every cluster mentioning Human Evaluation of Procedural Knowledge Graph Extraction from Text with Large Language Models across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
人类评估在大型语言模型质量评估中仍然至关重要
人类评估对于评估大型语言模型（LLMs）至关重要，因为BLEU分数等自动化指标常常无法捕捉连贯性、创造性和事实准确性等细微的质量。这种方法对于高风险应用至关重要，它使用李克特量表评分和成对比较等方法，通过人类反馈强化学习（RLHF）等技术来引导模型产生期望的行为。人类评估者的一致性通过科恩的Kappa系数等指标进行衡量，确保评估标准清晰且任务定义明确。
-
LLM评估：方法与指标的全面回顾
本文全面回顾了大型语言模型（LLM）的评估，涵盖了关键概念和方法。它强调了各种评估指标和方法的重要性，包括基准测试、数据集和人工评估。文章强调了需要强大的评估框架来确保模型的性能、准确性、安全性和公正性。
-
新框架AURA精炼LLM-as-a-Judge审计
研究人员推出AURA，一个旨在改进大型语言模型（LLMs）在评估中被用作裁判时的审计的新框架。AURA解决了LLM裁判可能存在偏见以及大规模人工评估通常不切实际的挑战。该框架通过学习人类一致性信号并优先处理不确定的比较以供人工审查，从而自适应地精炼对裁判的信任，使审计过程更有效、更可靠。
-
新研究论文批评AI文本评估方法
两篇新研究论文指出了当前评估AI生成文本方法的重大问题。一篇论文揭示了NLP会议上普遍存在的人工评估协议报告不足的问题，阻碍了可复现性和清晰度。第二篇论文批评了非自回归模型常用生成式困惑度的方法，认为它可以被“破解”以生成不连贯的文本，同时表现良好。两项研究都呼吁采用更健壮和透明的评估指标及方法。