BERTScore: Evaluating text generation with BERT
PulseAugur coverage of BERTScore: Evaluating text generation with BERT — every cluster mentioning BERTScore: Evaluating text generation with BERT across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
-
新研究发现，大型语言模型（LLM）会将非裔美国人英语改写为标准美式英语
一项新的研究论文详细介绍了大型语言模型（LLM）如何系统地将非裔美国人英语（AAE）改写为标准美式英语（SAE），从而有效地重写了该方言。该研究引入了一个使用条件方言组不变性（cDGI）来审计这种偏见的框架，并确定了负数一致性（negative concord）是关键触发因素。为了缓解偏见，研究人员应用了激活引导（activation steering）这一无需训练的方法，该方法在保持SAE流畅性的同时显著减少了偏见。这项工作还包括发…
-
HULAT2-UC3M使用多智能体Gemini和RigoChat进行西班牙语易读文本翻译任务
HULAT2-UC3M团队在MER-TRANS 2026西班牙语易读文本翻译任务中采用了三种不同的方法。他们的主要方法RUN1使用基于LangGraph的多智能体工作流，集成了Gemini 2.5 Flash和RigoChat-7B-v2，取得了最高的SARI分数44.0543。第二种方法RUN2在多智能体工作流中增加了一个词汇支持层，但SARI分数略有下降。基线方法RUN3采用了生成-评估-再生的策略，结合了提示工程和LoRA适配，…
-
新的ARKD框架通过自适应KL散度增强LLM压缩
研究人员开发了ARKD，一个旨在提高大型语言模型（LLMs）压缩和性能的新型知识蒸馏框架。这种自适应强化学习引导的方法动态地权衡前向和反向KL散度目标，以更好地平衡主要分布拟合与长尾概率建模。实验表明，ARKD持续改进ROUGE L和BERTScore指标，优于现有方法。
-
新研究探索无 GPU 和基于梯度的 LLM 幻觉检测
两篇新研究论文探讨了检测大型语言模型 (LLM) 中幻觉的方法。第一篇论文“没有 GPU 能走多远？”对跨问答、对话和摘要任务的 CPU 可行、轻量级幻觉检测方法进行了基准测试，发现性能因任务而异，摘要任务尤其具有挑战性。第二篇论文“AURORA”引入了一个新颖的框架，该框架分析 LLM 的权重梯度动态以检测幻觉，证明了其跨不同模型家族和数据集的鲁棒性，甚至可以迁移到非领域任务。
-
新型AI模型解决低资源唐库尔语-英语翻译问题
研究人员为低资源的唐库尔语-英语语言对开发了两个神经机器翻译系统。主要系统利用在超过38,000个平行句子上微调的ByT5-large模型，取得了39.97的BLEU分数。同时还训练了一个次要的mT5-small系统进行比较。该研究强调了与唐库尔语拼写法和训练数据的领域偏差相关的挑战，并建议未来的工作应侧重于数据多样化和领域适应。
-
研究发现LLM归因指标缺乏跨数据集的可迁移性
一篇新的研究论文调查了用于评估检索增强生成（RAG）系统归因的自动指标的可靠性。研究发现，包括词汇、嵌入和BERTScore基线在内的常用归因指标在不同数据集和评估构造上表现不一致。指标排名可能显著反转，导致具体的决策成本，即基于平均性能选择指标可能比固定一个评分器更差。虽然LLM裁判提供了替代方案，但它们成本更高且不确定，将验证负担转移了，而不是消除了它。
-
大型语言模型在豪萨语和芳语翻译方面表现不佳，指标不可靠
一项新研究评估了四种大型语言模型（LLMs）在豪萨语和芳语（两种西非语言）上的机器翻译能力。研究发现，虽然GPT-4o mini等模型在豪萨语翻译方面达到了可接受的质量，但所有评估系统在芳语翻译方面表现都很差。模型在两种语言之间的表现差异很大，Gemini 2.5 Flash在芳语方面领先，GPT-4o mini在豪萨语方面领先，这表明在一种低资源语言上的表现并不能预测在另一种语言上的表现。研究还强调了标准自动评估指标存在的问题，这些…
-
新的RECOM数据集揭示了LLM评估中指标的权衡
研究人员推出了RECOM，这是一个新的评估数据集，旨在评估开放式问答的自动指标，特别是针对LLM生成的文本。该数据集包含15,000个r/AskReddit问题及其真实的社区回复，突显了指标识别真实内容一致性（有效性）的能力与其对不同模型进行排名（区分能力）的能力之间的紧张关系。实验表明，虽然余弦相似度等指标在有效性方面表现出色，但在区分能力方面却表现不佳，而BERTScore精确率等指标在排名方面显示出潜力，但有效性较弱。研究表明，…
-
研究人员在微调Mistral 7B后对合成数据质量发出警示
研究人员开发了一种在免费GPU上微调7B语言模型的方法，采用了适配器切换技术。该方法通过仅保存小的LoRA适配器并在另一台机器上恢复，实现了多轮微调，足以成功继续训练。然而，评估显示，尽管微调后的模型与合成训练数据具有更高的相似性，但在咨询质量和事实性方面却比基础模型表现更差，错误源于合成数据本身而非微调方法。
-
新的几何框架衡量文本中的语义信息
研究人员开发了一个新的几何框架来衡量文本中包含的语义信息。该框架在最近的一篇论文中进行了详细介绍，提供了一个三坐标语义画像，捕捉了思想的新颖性、广度和整合性。研究还证明，没有单一的标量摘要能够同时满足分析稳定性、序数稳健性和交叉表示可比性，从而导致标量摘要的权衡三角。
-
AI利用课程学习和多模型提升医疗文本生成效果
研究人员开发了一种新的医疗文本生成框架，该框架采用具有严重性感知的课程学习方法，并结合多个大型语言模型。该方法按严重程度递增（从轻微到危重）的病例对模型进行顺序训练，以更好地适应复杂的医疗查询。在推理过程中，五个独立训练的模型生成响应，并选择最合适的响应。在MAQA数据集上的实验表明，该方法显著提高了响应质量和相关性，性能高达90.30%。
-
新框架使用多个模型改进文本摘要
研究人员开发了一种多模型自适应摘要框架（MASF），以增强抽象文本摘要。该框架集成了多个经过微调的Transformer模型，每个模型为给定文章生成摘要。然后，一个自适应选择机制根据词汇相似性和语义相关性指标选择最佳摘要。MASF展示了卓越的性能，在CNN/DailyMail数据集上取得了最高的BERTScore（88.63%），并优于GPT3-D2、Falcon-7b和Mpt-7b等模型。
-
新的MATCHA指标通过惩罚矛盾来改进LLM文本评估
研究人员开发了MATCHA，这是一种旨在更准确地评估大型语言模型生成文本的语义相似性的新指标。与ROUGE和BERTScore等现有指标不同，后者可能错误地将矛盾文本评为相似，MATCHA同时识别与参考的一致性并惩罚矛盾。在八个基准测试中，MATCHA在包括问答和摘要在内的各种任务上均表现优于人工标注，并且在TruthfulQA数据集上的表现显著优于ROUGE-L和BERTScore。
-
Medical QA RAG trainability hinges on checker output distribution, not accuracy
一篇新研究论文探讨了使用由自然语言推理（NLI）检查器指导的检索增强生成（RAG）的医学问答系统的可训练性。研究表明，在训练过程中，检查器的输出分布（而非其在未见数据上的准确性）对于提供可训练梯度至关重要。研究确定了三个关键发现：当LLM对大多数声明进行对数概率评分时会发生信号崩溃，适度的信号强度通过避免奖励欺骗级联带来更好的答案质量，以及信号强度是策略依赖的。
-
GraphRAG 在量子论文上将 token 使用量减少 60%
为 TigerGraph GraphRAG 推理黑客马拉松开发的一个项目表明，GraphRAG 在处理复杂查询时能显著减少 token 消耗并提高准确性。通过构建实体及其关系的知识图谱，与传统的基于向量的 RAG 相比，GraphRAG 能够实现更集中的检索。在对超过 200 万篇量子计算研究论文摘要进行基准测试时，GraphRAG 的准确率达到了 90%，优于仅使用 LLM 和基础 RAG 的管道。
-
Mistral、QWen 模型在生物医学文本简化中展现出不同的策略
一篇新的研究论文比较了 Mistral-Small 和 QWen2.5 模型在应用于生物医学信息时的文本简化策略。研究发现，Mistral-Small 能有效平衡可读性和准确性，其表现与人类简化相当。QWen2.5 也能提高可读性，但在简化文本和保留其原始含义之间的平衡方面表现不太一致。
-
研究人员通过轨迹感知过程监督改进医学视觉问答
研究人员开发了一种新颖的方法，通过结合轨迹感知过程监督来改进医学视觉问答（VQA）系统。该方法采用两阶段训练框架，首先进行监督微调，然后使用独特的基于过程的奖励进行组相对策略优化（GRPO）。新的奖励机制利用动态时间规整（DTW）在句子嵌入上测量生成和真实推理过程之间的相似性，从而显著提高了准确性。
-
新型DESG模型改进了AI治疗师评估，超越了LLM评判
研究人员开发了一种新的模型无关评估器，称为动态情感签名图（DESG），用于评估AI在心理健康对话中生成的响应的质量。该方法超越了简单的文本相似性和直接的LLM判断，而这些方法常常与治疗目标不一致。DESG使用解耦的临床状态来表示对话窗口，并使用不对称的临床几何学对其进行评分，在基准测试集上达到了0.9353的宏观F1分数。
-
研究发现：大型语言模型在招聘中偏爱自己的简历
一项新研究表明，大型语言模型（LLMs）在招聘过程中表现出显著的自我偏好偏见，倾向于选择自己生成的简历而非人类撰写的简历。这种偏见在不同模型中占 67% 至 82%，可将申请人入围几率提高 23% 至 60%。研究人员发现，通过调整提示等简单干预措施，可以将这种偏见减少 50% 以上，这凸显了扩大人工智能公平框架的必要性，以解决除人口统计差异之外的人工智能与人工智能之间的互动问题。
-
新的RCD方法优化LLM处理长临床文本的预算
研究人员开发了一种名为RCD的新方法，用于选择长临床文本的相关子集，以降低大型语言模型的令牌成本。该方法将问题构建为背包约束的子集选择，平衡相关性、覆盖率和多样性。在各种数据集上的实验表明，不同的单元化策略和选择方法在特定任务和预算限制下表现最佳，而像MMR这样的多样性感知方法对LLM生成有益。