Neural Language Models
PulseAugur coverage of Neural Language Models — every cluster mentioning Neural Language Models across labs, papers, and developer communities, ranked by signal.
-
研究表明神经网络语言模型在其内部表示中编码语法性
一篇新的研究论文探讨了神经网络语言模型（NLMs）是否能通过检查其内部表示来区分语法正确和不语法正确的句子，而不仅仅是概率分配。研究使用了一种称为质量均值探测（mass-mean probing）的技术，发现语法性在各种预训练NLMs的表示中被一致地编码。这种编码似乎在不同的语法现象中都很稳健，甚至在一定程度上可以泛化到不同语言，这表明语法性是这些模型中的一个独立维度。
-
新研究重新审视反向传播的机制和局限性 · 跟踪 4 个来源
三篇最新的 arXiv 论文探讨了深度学习中反向传播的机制和局限性。其中一篇论文将反向传播重新表述为一个幂零线性系统，揭示了其数学结构以及对残差网络和迁移学习的影响。另一项研究将反向传播与前向模式自动微分和零阶优化等替代方法进行了比较，发现虽然这些替代方法节省了内存，但计算成本更高，准确性也随之降低。第三篇论文将语言模型头识别为一个重要的梯度瓶颈，表明从内部特征到词汇 logits 的投影抑制了很大一部分梯度范数，导致次优的训练动态和效率低下。
-
研究发现神经网络语言模型首先学习抽象模式
一项新研究提出了一种发展方法来理解神经网络语言模型如何学习统计模式。研究人员在合成语法上训练了生成式Transformer模型，并在不同训练阶段保存了模型状态。分析显示，这些模型首先获得抽象的全局统计知识，然后学习更局部的依赖关系，最初会过度泛化，然后才完善其理解。
-
研究：口语，而不仅仅是儿童导向语言，有助于动词学习
研究人员使用神经语言模型来研究儿童导向语言（CDL）是否经过优化以进行单词学习。通过在 CDL 和成人导向语言（ADL）上训练模型并操纵句法或词汇信息，他们发现句法中断会影响所有数据集的学习。与书面输入相比，在口语 CDL 和 ADL 上训练的模型对这些中断表现出更大的韧性，这表明口语语域，而不是 CDL 本身，可能在动词意义习得方面具有优势。