Attribution Disagreement Score

新研究揭示大型语言模型在临床数据上缺乏自我认知

一篇新的研究论文探讨了大型语言模型（LLM）在应用于结构化临床数据时的局限性，重点关注它们无法识别自身知识差距的问题。研究发现，LLM 的置信度得分并不可靠，通常与准确性不相关。此外，当 XGBoost 等传统模型高度自信时，LLM 的表现会变差，但在 XGBoost 置信度适中不确定时，LLM 的表现则与之相当。研究还表明，少样本示例和特征证据是独立的干预措施，可以显著提高准确性并减少归因分歧。