bert-score
PulseAugur coverage of bert-score — every cluster mentioning bert-score across labs, papers, and developer communities, ranked by signal.
-
新的 AlphaMWE 语料库揭示了大型语言模型在多词表达式翻译中的盲点
研究人员开发了 AlphaMWE 语料库，用于测试大型语言模型（LLMs）在机器翻译方面的能力，特别关注多词表达式（MWEs）。该研究评估了 31 个不同语言对的机器翻译系统，包括英语到中文、波兰语、德语以及几种阿拉伯语方言。使用 BLEU 和 BERT-score 等指标进行的自动评估，以及后续的人工评估，都揭示了比喻性语言和多词表达式仍然是大型语言模型的挑战，并且汇总分数可能会掩盖特定语言的错误。
-
SemEnrich 方法增强了用于视觉-语言学习的放射学报告数据集
研究人员开发了 SemEnrich，一种用于改进放射学报告视觉-语言学习数据集的自监督方法。该技术使用语义聚类来丰富报告中的阳性或中性观察结果，解决了现有数据集中普遍存在的负面发现偏见。该方法在 COMET、Bert score、Sentence Bleu、CheXbert-F1 和 RadGraph-F1 等各种指标上均表现出持续的性能提升。通过将语义聚类信息整合到 GRPO 训练的奖励设计中，进一步实现了增强。
-
ParametricSkills框架将LLM技能转换为测试时参数
研究人员推出了ParametricSkills，一个旨在增强大型语言模型（LLM）利用技能方式的新型框架，特别是在复杂、长上下文场景中。该方法在测试时将自由形式的文本技能转换为参数，从而实现无上下文利用。通过训练一个超网络从文本技能生成LoRA适配器，ParametricSkills在六项软件工程任务上，根据DeepSeek-V4-Flash的评估，平均比上下文学习提高了6.44分。该框架还实现了更高的BERT分数和F1分数，表明了测…