Magnus D Lynch

LLM Claude Fable 5.1 和 GPT-6 Astra 在皮肤病变诊断方面落后于旧版 CNN

一位皮肤科医生将两种大型语言模型 GPT-6 Astra 和 Claude Fable 5.1 的诊断准确性与一个 2015 年的 Google 图像网络在 200 个经活检证实的皮肤病变上进行了比较。旧的 Google 网络准确率为 62%，而两种 LLM 的准确率均为 42%。这项研究的数据和代码均公开可用，突显了当前 LLM 在医学诊断方面的局限性，因为在设定的阈值下，CNN 会漏诊 30 例黑色素瘤中的 18 例。