实体
LiveMedBench
LiveMedBench
PulseAugur coverage of LiveMedBench — every cluster mentioning LiveMedBench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
研究发现：医学人工智能评估评分标准未能检测到幻觉
一篇新近发表在arXiv上的研究论文《当评分标准失效时：幻觉揭示了医学人工智能评估中的盲点》强调了当前评估医学人工智能方法的重大局限性。研究人员发现，即使使用了特定的评分标准，基于标准评分的评估方法也常常无法检测到临床相关的错误，例如幻觉。该研究开发了一种医学幻觉类型分类法和一个错误注入流程，以证明现有的HealthBench和LiveMedBench等评估基准常常对这些关键错误视而不见。研究结果表明，仅凭评分分数不足以确保医学人工智…
-
新的RIFT分类法识别出LLM医学基准评分细则中的缺陷
一项新的研究论文介绍RIFT，这是一个旨在识别和纠正用于评估医疗领域大型语言模型（LLM）的评分细则中缺陷的分类法。该研究将RIFT应用于HealthBench Professional和LiveMedBench两个基准测试，揭示了诸如非原子化和不匹配的标准等重大问题。研究人员证明，这些评分细则的缺陷会显著改变LLM的性能得分，当标准被重写时，观察到的得分变化高达15.9个百分点。该论文还指出，与表面形式分析相比，RIFT在临床评分细…