large language model systems

研究发现：大型语言模型诊断AI性能因数据泄露而虚高

一篇新近发表在arXiv上的研究论文详细阐述了评估产物和数据泄露如何显著夸大了用于罕见病诊断的大型语言模型（LLM）系统的报告性能。研究人员发现，在强制执行严格的跨数据集隔离后，这些系统的性能显著下降，Recall@1从54.3%降至40.3%。该研究还强调了大型语言模型如何利用知识库中的回顾性治疗线索和时间错位，导致诊断不准确。作者提出了一个更严格的评估框架，以确保未来诊断AI的真正临床稳健性。