PulseAugur
中
实时 13:16:36
English(EN) Where Does Social Reasoning Come From? Capability Provenance in Language Models

新研究绘制语言模型社会推理的起源图谱

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了一种方法，通过分析其训练数据来理解语言模型中社会推理能力的来源。他们使用基于梯度的归因方法对 Dolma3 数据集进行分析，绘制了语料库中对社会推理和 STEM 推理有贡献的特定区域。研究发现，社会推理和 STEM 推理的来源数据不同，推理能力比事实知识对这些差异更敏感。有针对性的遗忘实验部分验证了这些发现，表明移除高归因数据箱会损害对齐基准。 AI

影响 提供了一种理解模型行为的新方法，并可能改进用于专业推理技能的训练数据策展。

排序理由 该集群包含一篇学术论文，详细介绍了分析语言模型能力的新方法。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新研究绘制语言模型社会推理的起源图谱

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Glenn Matlin, Chandreyi Chakraborty, Saehee Eom, Mika Okamoto, Rayan Castilla, Louis Jaburi, Alvin Deng, Taywon Min, Lucia Quirke, Stella Biderman, Mark Riedl ·

    社交推理从何而来？语言模型的能力溯源

    arXiv:2606.19625v1 Announce Type: new Abstract: We use training-data attribution as an interpretable tool for capability discovery, mapping which regions of the pretraining corpus support social-reasoning versus STEM-reasoning in OLMo3-7B. Training-data attribution measures how s…

  2. arXiv cs.CL TIER_1 English(EN) · Mark Riedl ·

    社会推理从何而来？语言模型中的能力溯源

    We use training-data attribution as an interpretable tool for capability discovery, mapping which regions of the pretraining corpus support social-reasoning versus STEM-reasoning in OLMo3-7B. Training-data attribution measures how strongly each training document influences a mode…

相关实体

相关话题