实体
OLMo-7B
OLMo-7B
PulseAugur coverage of OLMo-7B — every cluster mentioning OLMo-7B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LLM研究探讨参数重要性、提示复杂性和任务依赖鲁棒性
近期研究探讨了大语言模型（LLM）及其参数的复杂性。一项研究表明，“超级权重”（Super Weights）在完整时对模型性能至关重要，但在单独训练时却会产生负面影响，这表明参数重要性并不等同于单独训练能力。另一篇论文引入了“提示复杂性”（prompting complexity）作为从LLM获得特定输出所需的最短提示的度量标准，并提出它作为Kolmogorov复杂性的LM相对类比。此外，研究表明提示鲁棒性因任务而异，主观问题比客观问…
-
新研究绘制语言模型社会推理的起源图谱
研究人员开发了一种方法，通过分析其训练数据来理解语言模型中社会推理能力的来源。他们使用基于梯度的归因方法对 Dolma3 数据集进行分析，绘制了语料库中对社会推理和 STEM 推理有贡献的特定区域。研究发现，社会推理和 STEM 推理的来源数据不同，推理能力比事实知识对这些差异更敏感。有针对性的遗忘实验部分验证了这些发现，表明移除高归因数据箱会损害对齐基准。