实体
RheumBench
RheumBench
PulseAugur coverage of RheumBench — every cluster mentioning RheumBench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
AI模型在风湿病学诊断任务上表现不一
一项新研究评估了几种AI模型（包括Decision和System One模型）在风湿病学考试问题和诊断病例小插图上的表现。模型在两个基准上进行了测试：RheumaMIR数据集和RheumBench数据集。虽然Jev 1.13等一些System One模型在考试问题上表现出高准确性，但与GPT-6 Sol等模型相比，它们在诊断小插图上的表现效果较差。
-
RheumBench基准揭示了大型语言模型在风湿病学中存在严重错误和过度自信
一项名为RheumBench的新基准测试揭示了十种不同的大型语言模型在应用于风湿病学任务时存在显著的性能问题和严重错误。该评估使用由医学专家验证的评分卡，还发现这些模型在其不正确的回答中表现出过度自信。这凸显了在风湿病学等专业医疗领域使用大型语言模型存在关键的安全隐患。