BERTScore: Evaluating text generation with BERT
PulseAugur coverage of BERTScore: Evaluating text generation with BERT — every cluster mentioning BERTScore: Evaluating text generation with BERT across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
微调后的 Microsoft Phi-2 模型生成合成临床数据,提升预测性医疗分析能力
研究人员开发了一种使用微调后的 Microsoft Phi-2 模型生成合成临床数据的方法。该方法旨在解决医疗数据集稀缺的问题,特别是那些用于开发预测性医疗分析的数据不平衡问题。通过在 MedQuad 数据集上使用 QLoRA 和少样本提示进行适配,微调后的 Phi-2 模型在生成结构化合成临床数据方面表现出改进的性能,并将长短期记忆(LSTM)预测模型的准确性从 89.0% 提高到 93.7%。
-
新研究发现:AI评估指标在罗马化印度语言上表现不佳
一项新的研究论文强调了评估罗马化印度语言AI模型时存在的一个重大差距,即自动评估指标无法准确衡量生成质量。研究发现,像BGE-M3和BERTScore这样的指标系统性地误判了生成印地语、泰卢固语和卡纳达语文本的模型性能。当由母语者评估时,GPT-5.5的表现优于Claude Opus 4.8,但自动评估指标显示出的差异微乎其微。研究还确定了具体的失败模式,例如Gemini中的脚本溢出和Qwen中的纯英文输出,这凸显了需要一种全面的评估…
-
新的LLM解码技术ELIDE在语义保持方面存在困难
研究人员探索了在不牺牲语义内容的情况下减少大型语言模型冗余的方法。最初使用熵门控logits处理器的方法被证明无效,仅仅截断了输出。一种名为蕴含许可的解码内省略(ELIDE)的新技术被引入,该技术根据自然语言推理模型判断,选择性地移除被前文蕴含的句子。虽然ELIDE相比简单截断有所改进,但人工审查显示,其省略的相当一部分仍然对答案的质量产生了负面影响。
-
新型解码器统一了 AI 助手的门控和提示生成
研究人员开发了一种新颖的紧凑型解码器架构,该架构集成了主动助手的门控和提示生成功能。这种单一模型方法旨在通过在对话中决定何时协助和建议什么来提高效率和性能。评估表明,这种统一模型可以匹配或超越单独的门控和生成模型的性能,同时显著减少计算时间和资源。
-
新基准ETC-Bench解决了多语言语音转录规范化问题
研究人员推出了ETC-Bench,这是一个新颖的多语言基准,旨在评估评估端的语音转录规范化。该基准解决了相同语音存在不同书面转录的挑战,其中差异并非源于语音信号本身。ETC-Bench涵盖12种语言的181种现象类型,使用最小对来评估规范化准确性和语义保留,通过一种称为SENA的指标。该研究还提出了引导式代理规范化技能(TACS)来提高LLM代理在此任务中的性能,并证明了其优于基线系统的有效性。
-
LLM助手通过查询文档和票据改进HPC用户支持
研究人员开发了一种代理式LLM助手,旨在改善高性能计算(HPC)环境的用户支持。该助手利用实时文档上的检索增强生成(RAG)以及在历史支持票据上使用QLoRA微调的Llama 3-8B模型。该系统旨在通过借鉴现有文档和已解决的票据来回答用户查询,解决了用户在导航这些资源时遇到的困难。在普渡大学先进计算罗森中心(Rosen Center for Advanced Computing)的未公开票据上进行的评估表明,对重写的票据解决方案进行…
-
行锤击攻击放大LLM推理延迟和成本
研究人员开发了LLVMhammer,一种新颖的行锤击(Rowhammer)攻击,它针对GPU上大型语言模型(LLM)推理的延迟和成本。通过在CPU的DRAM中引发比特翻转,该攻击导致Triton JIT编译框架生成次优的GPU内核,从而导致推理延迟增加。这种4-16%的减速会转化为多GPU部署更高的运营成本。该攻击与GPU无关,并且还会损坏LLM的输出,影响BERTScore等指标。
-
新的多语言数据集增强了AI危机预警生成能力
研究人员开发了CrisiLangs,一个旨在通过语言模型改进危机预警生成的新多语言数据集。该资源扩展了现有的CrisiText数据集,除了英语外,还包含了意大利语、保加利亚语、德语和希腊语的危机事件预警信息。该数据集包含超过5000个事件-消息对,由母语者翻译,并已用于微调多语言模型。评估显示,微调后的模型在所有语言和配置上都显著优于零样本基线,而人类偏好研究表明较低的解码温度能产生最佳结果。
-
新的 MeddeX 系统使用 LLaMA-3 和 Gemini Vision 进行医疗报告分析
研究人员开发了 MeddeX,一个旨在分析和总结复杂医疗报告的系统。MeddeX 集成了经过微调的 LLaMA-3 模型、检索增强生成以及 Gemini Vision 层,以提供证据支持的摘要。该系统可以处理各种 PDF 格式,包括文本损坏的扫描文档,并提供纵向报告比较和遗留文档按需处理等功能。评估显示,与基础 LLaMA-3 模型相比,摘要指标有了显著改进。
-
New BRUGEscore metric proposed for evaluating financial report summarization
研究人员对使用预训练Transformer对长篇幅金融报告进行摘要的各种方法进行了比较研究。该研究重点关注伦敦证券交易所上市公司(通常约80页长)的年度报告。研究团队评估了多种指标以评估其有效性,并提出了一种新指标BRUGEscore,作为ROUGE-2和BERTScore的调和平均数,并假设现有指标可能无法完全捕捉摘要能力。进行了统计显著性检验和对抗性分析以验证研究结果。
-
面向SUD患者对话生成的小型语言模型框架
研究人员开发了一个使用小型语言模型(SLMs)为物质使用障碍(SUD)患者生成对话的框架。该方法解决了大型模型在临床环境中存在的局限性,例如高计算成本和隐私问题。该框架通过一个涉及认知成分检测和对话生成的两阶段过程,专注于将潜在认知成分与患者病史和咨询师问题进行对齐。评估表明,与基线模型相比,这种认知知情的微调显著提高了生成患者回应的真实性和对齐度。
-
为尼泊尔开发AI法律助手以改善司法救济途径 · 跟踪2个来源
两篇研究论文介绍了为尼泊尔开发的AI法律助手,旨在改善司法救济途径。第一篇NepKANUN利用了检索增强生成(RAG)框架和微调的大型语言模型,在问答任务上取得了很高的F1分数。第二篇NepLEGiT提出了一种基于GPT-2的专门小型语言模型(SLM),该模型在大量的尼泊尔法律文本语料库上进行了预训练,并展示了具有竞争力的困惑度和预测准确性。
-
LoRA 微调提升 Qwen2.5 模型在控制系统问答中的表现
研究人员评估了 LoRA 微调在 Qwen2.5 模型上应用于线性控制系统课程问答的有效性。研究发现,LoRA 在不同模型规模和 LoRA 秩下,均能提高与参考答案的文本相似度以及结构化输出格式的稳定性。尽管 LoRA 在文本相似度方面显示出稳定的改进,但评估指标主要捕捉了格式和文本相似性,而非领域特定的推理或数学准确性,这些仍需专家评估。
-
LexFlip诊断工具评估简化文本中的法律含义保留度
研究人员开发了LexFlip,一种新的诊断工具,旨在评估文本简化后法律含义保留的程度。目前的度量指标常常无法区分词汇重叠和实际法律效力,导致评估不准确。LexFlip对法律文本(特别是魁北克省的法语句子)进行最小扰动,以逆转法律效力,同时保持高度的词汇相似性。这种新方法旨在为法律文件中的含义保留提供更稳健的评估。
-
新的PetQA基准评估AI兽医知识
研究人员开发了PetQA,这是一个旨在评估大型语言模型(LLMs)和大型视觉语言模型(LVLMs)的兽医知识和临床推理能力的新基准。该基准包含超过10,000个问答对,这些问答对源自关于狗和猫的真实查询,并由兽医专家提供答案。使用ROUGE和BERTScore等指标对十八个模型进行的初步评估显示,当前AI系统在兽医护理方面存在局限性,突显了改进适应方法的必要性。
-
大型语言模型在从代码提交中提取软件设计决策方面显示出潜力
一项初步研究探讨了四种大型语言模型(LLM)从源代码提交中提取架构设计决策(ADDs)的能力。使用零样本和少样本提示,在30个ADDs上测试了包括Gemini 3-Pro、DeepSeek-R1、Kimi K2和Qwen3在内的模型。虽然所有模型的BERT-F1分数均高于0.81,但生成的决策通常过长、侧重于实现,并且缺乏根本原因,这表明需要更具架构意识的大型语言模型系统。
-
新语料库StageWell增强AI支持对话
研究人员推出StageWell,一个用于积极心理学支持对话的新中文语料库。该语料库采用HQS协议开发,将支持过程分为六个阶段,包含12,445个监督微调实例和1,849个直接偏好优化(DPO)对。HQS协议通过关注对模型错误输出的本地化修复来指导DPO对的创建,从而提高大型语言模型的过程控制、响应质量和安全性。
-
PermitGPT 使用生成式 AI 进行建筑治理和安全
研究人员开发了 PermitGPT,一个旨在简化城市建筑治理的生成式 AI 框架。该系统整合了来自市政和监管部门的零散数据,以识别安全隐患、明确许可证要求并评估社区影响。该框架使用三个开源语言模型进行了微调:Gemma-3-1B 用于高效推理,Llama-3.2-3B 用于监管风格的输出,Mistral-7B-Instruct-v0.3 用于强大的语义对齐。PermitGPT 代表了迈向 AI 辅助建筑治理的一步,但仍需要进一步的评估和验证。
-
SimpCue提示词适度提升多语言文本简化效果
研究人员开发了SimpCue,一种使用Qwen3_8B语言模型进行多语言文本简化的新型提示词技术。该方法通过添加关于句子复杂性的明确语言线索来丰富提示词。在加泰罗尼亚语、西班牙语和意大利语中的实验表明,预测提示词在SARI、BLEU、chrF和BERTScore指标上均取得了最佳结果,尽管与基线提示词相比,改进幅度不大且因语言而异。
-
LLM 评估 ASR 模型:编码器与生成式模型对比
一项新近发表在 arXiv 上的研究,探讨了基于编码器和解码器的 LLM 在评估自动语音识别(ASR)系统方面的有效性。该研究比较了 BERTScore 和 SemDist 等指标在各种 LLM 和配置下的表现,发现两者在正确设置时都能与人类判断获得高度相关性。研究还强调,生成式 LLM 在 ASR 评估的假设比较和错误分类方面展现出潜力,并提供了更好的可解释性。