实体
Neural Language Models
Neural Language Models
PulseAugur coverage of Neural Language Models — every cluster mentioning Neural Language Models across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新研究强调LM头是主要的梯度瓶颈
来自arXiv的一篇新论文《Lost in Backpropagation: The LM Head is a Gradient Bottleneck》揭示，语言模型的最后一层（负责将特征投影到词汇logits）是一个重要的优化瓶颈。研究人员通过理论和实证证明，这一层会压缩95-99%的梯度，阻碍了即使是简单模式的学习，并影响了大型语言模型的训练动态。该论文认为，这一固有缺陷导致了规模化训练效率低下，与模型架构无关，并呼吁对LM头进行新设计。
-
研究发现神经网络语言模型首先学习抽象模式
一项新研究提出了一种发展方法来理解神经网络语言模型如何学习统计模式。研究人员在合成语法上训练了生成式Transformer模型，并在不同训练阶段保存了模型状态。分析显示，这些模型首先获得抽象的全局统计知识，然后学习更局部的依赖关系，最初会过度泛化，然后才完善其理解。
-
研究：口语，而不仅仅是儿童导向语言，有助于动词学习
研究人员使用神经语言模型来研究儿童导向语言（CDL）是否经过优化以进行单词学习。通过在 CDL 和成人导向语言（ADL）上训练模型并操纵句法或词汇信息，他们发现句法中断会影响所有数据集的学习。与书面输入相比，在口语 CDL 和 ADL 上训练的模型对这些中断表现出更大的韧性，这表明口语语域，而不是 CDL 本身，可能在动词意义习得方面具有优势。