RadQA

新的LLM评估方法将放射学报告中的可回答性与提取能力分开

研究人员开发了一种新的评估方法，用于大型语言模型（LLM）在放射学报告上的问答，旨在将可回答性与提取能力分离开来。该方法将错误回答率和过度回避率与传统的F1分数分开，从而提供对模型性能更细致的理解。当应用于13个LLM时，该评估揭示了具有相似F1分数的模型之间错误回答率的显著差异，并表明提供一个无法回答的示例可以提高回避率，而不会损害提取质量。