English(EN) Predictable Confabulations: Factual Recall by LLMs Scales with Model Size and Topic Frequency

大型语言模型的事实回忆能力随模型大小和训练数据频率而扩展

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-18 17:53

研究人员发现，大型语言模型的事实回忆能力与其大小以及训练数据中主题的频率之间存在可预测的关系。通过对 38 个模型和 8,900 多篇学术参考文献进行评估，他们发现回忆质量遵循基于模型参数和主题表示组合的 S 形曲线。仅这些因素就解释了不同模型家族回忆性能差异的很大一部分。 AI

影响为大型语言模型的事实回忆能力建立了一个新的扩展定律，表明其性能可根据模型大小和训练数据组成进行预测。

排序理由详细介绍大型语言模型行为新发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Tegawendé F. Bissyandé · 2026-05-18 17:53

Predictable Confabulations: Factual Recall by LLMs Scales with Model Size and Topic Frequency

While scaling laws govern aggregate large language model performance, no scaling law has linked factual recall to both model size and training-data composition. We evaluated 38 models on over 8,900 scholarly references evaluated by an automated reference verification system. Reca…