PulseAugur
中
实时 22:25:47
English(EN) Abstractiveness Metrics for Evaluating Text Summarization: A Refined Formulation with Empirical Validation

提出新的文本摘要抽象性指标 · 跟踪到2个来源

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员引入了新的指标——参考抽象（RA）、摘要抽象（SA）和抽象比（AR）——以更好地评估文本摘要模型的抽象性。这些指标旨在量化生成摘要在多大程度上偏离了简单复制源文本，超越了ROUGE等传统度量方法。使用BART-large-cnn和Pegasus-xsum等模型在XSum数据集上进行的经验验证表明，这些指标可以有效地区分抽取式和抽象式摘要方法，其中抽象比还指出了潜在的幻觉问题。 AI

影响 这些新指标可能导致对摘要模型进行更准确的评估，从而提高它们生成简洁且无幻觉摘要的能力。

排序理由 该集群包含一篇详细介绍文本摘要模型评估新指标的研究论文。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

提出新的文本摘要抽象性指标 · 跟踪到2个来源

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Praveenkumar Katwe, Rakesh Chandra Balabantaray, Kali Prasad Vittala ·

    评估文本摘要的抽象性指标：一项经验验证的精炼表述

    arXiv:2607.10806v1 Announce Type: cross Abstract: Quantifying abstractiveness in generated summaries is essential for evaluating summarization models beyond surface-level metrics like ROUGE. We introduce Reference Abstraction (RA), Summary Abstraction (SA), and Abstraction Ratio …

  2. arXiv cs.CL TIER_1 English(EN) · Kali Prasad Vittala ·

    用于评估文本摘要的抽象性指标：经验验证的精炼表述

    Quantifying abstractiveness in generated summaries is essential for evaluating summarization models beyond surface-level metrics like ROUGE. We introduce Reference Abstraction (RA), Summary Abstraction (SA), and Abstraction Ratio (AR) -- a set of principled heuristic metrics that…

相关实体

相关话题