实体
Franco Cagnetta
Franco Cagnetta
PulseAugur coverage of Franco Cagnetta — every cluster mentioning Franco Cagnetta across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新理论解释了序列模型中的上下文内学习与专业化
一个新理论框架已被开发出来，用于解释序列模型如何通过上下文内学习与专业化进行泛化。该理论在一个可解的主题模型中进行了测试，预测上下文内学习在较低的样本复杂度下更早出现，而专业化预测需要显著更多的训练数据。这项研究提供了对大型语言模型中一种学习策略可能比另一种更受青睐的基本理解。
-
新理论从语言统计预测神经缩放定律
研究人员开发了一种新理论，可以定量预测在自然语言数据集上训练的大型语言模型（尤其是在数据受限的情况下）的神经缩放定律的指数。该理论确定了语言的两个关键统计特性：成对标记相关性的衰减和下一标记条件熵随上下文长度的衰减。推导出的公式没有自由参数，可以根据这些语言统计数据准确预测缩放指数，并已在 TinyStories 和 WikiText 基准上训练的 GPT-2 和 LLaMA 等模型上得到验证。