实体 SAGE-QA

SAGE-QA

PulseAugur coverage of SAGE-QA — every cluster mentioning SAGE-QA across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_357600 · Nov 14 · 05:00

新的SAGE-QA框架改进了LLM在SQuAD 2.0基准上的评估效果

引入了一个名为SAGE-QA的新评估框架，以更好地评估生成式大型语言模型在闭域问答任务上的表现，特别是针对SQuAD 2.0基准。传统的精确匹配（EM）评分可能误导LLM，因为它会惩罚有效的释义。SAGE-QA结合了语义等价评分和基于段落的验证，以区分事实错误和词汇变化。在零样本评估中，Claude Opus-4.6和Gemini-3.1 Pro取得了高EM分数，但像Llama 3.3-70B这样的微调开放权重模型超越了它们，证明了参…