实体
MMLU-STEM
MMLU-STEM
PulseAugur coverage of MMLU-STEM — every cluster mentioning MMLU-STEM across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新研究绘制语言模型社会推理的起源图谱
研究人员开发了一种方法，通过分析其训练数据来理解语言模型中社会推理能力的来源。他们使用基于梯度的归因方法对 Dolma3 数据集进行分析，绘制了语料库中对社会推理和 STEM 推理有贡献的特定区域。研究发现，社会推理和 STEM 推理的来源数据不同，推理能力比事实知识对这些差异更敏感。有针对性的遗忘实验部分验证了这些发现，表明移除高归因数据箱会损害对齐基准。
-
医学 LLM 的失败是可解码但无法通过线性引导纠正的
研究人员在医学大型语言模型中发现了一种称为“过度思考”（OT）的现象，在这种现象中，模型在标准问答中回答正确，但在扩展的思维链推理中会失败。这种失败状态可以通过高精度线性解码，但尝试使用固定的线性引导方法进行纠正被证明在不同架构和领域都无效。该研究表明，失败信号与关键任务计算纠缠在一起，阻碍了直接纠正，但能够提高生成后的可靠性估计。