研究人员开发了一种使用影响函数识别有助于语言模型语法泛化的间接证据的新颖方法。通过分析 15 种 BLiMP 语法现象的训练句子对模型预测的影响,他们分离出了并非直接证据的影响性句子。移除这些间接证据会显著降低模型在未见数据上的准确性,证明了其在学习中的关键作用。研究还发现,与随机句子相比,这种间接证据更频繁地部分满足直接证据过滤器的结构条件,并且通过间接证据重叠对现象进行聚类成功地将相关的语言类别分组。 AI
影响 这项研究提供了一种理解语言模型学习方式的新技术,有望带来更强大、更具可解释性的模型。
排序理由 该条目是一篇学术论文,详细介绍了一种研究语言模型泛化能力的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- blimp
- CatalyzeX Code Finder for Papers
- Connected Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- Influence Flower
- Koh and Liang
- Litmaps
- Misra and Mahowald
- Patil et al.
- ScienceCast
- scite Smart Citations
- Warstadt et al.
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →