实体
McQueen
McQueen
PulseAugur coverage of McQueen — every cluster mentioning McQueen across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新框架生成 MS-MRI 知识基准以评估 LLM
研究人员开发了 MS-Exam-Gen,一个用于创建和审计基于文本的多项选择题基准的框架,专门用于评估大型语言模型 (LLM) 在多发性硬化症 MRI (MS-MRI) 知识方面的能力。该系统旨在评估 LLM 对 MS-MRI 领域内当前诊断标准、报告标准和鉴别诊断的理解。该框架从 66 个来源的语料库中生成了 3,058 个问题的基准,显示了 12 个 LLM 端点之间显著的性能差异,其中一些项目被相当一部分模型遗漏。
-
LLM更新可能导致回归;新研究探索预测信号
一项新的研究论文调查了预测大型语言模型(LLM)更新何时可能导致回归(即先前正确的输出变得不正确)的方法。该研究比较了各种信号,包括置信度分数、logit边际和注意力熵,以及跨版本信号,如输出KL散度和表示漂移。研究结果表明,这些信号的有效性高度依赖于特定任务和模型更新,没有单一信号被证明具有普遍优越性。然而,即使置信度指标失效,跨版本信号仍然可以提供信息,这表明对于高风险样本,可以选择性地回退到旧模型版本。