基于能量的Transformer在预测阅读难度方面显示出潜力

研究人员引入了一类新的Transformer模型，称为基于能量的Transformer，它们与联想记忆模型建立了正式联系。在计算心理语言学中，这种能量度量已被证明是跨多个语料库的阅读难度的有力预测因子。该研究表明，这一单一能量度量可能统一先前依赖于惊奇度（surprisal）和注意力熵（attention entropy）等多个互补预测因子的方法。 AI

影响 引入了一种新颖的基于能量的Transformer模型，该模型可能统一语言处理中现有的阅读难度预测因子。

排序理由 该集群是关于一篇介绍新颖模型架构及其在计算心理语言学中应用的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• Energy-Based Transformers
• Hopfield networks
• Natural Stories
• Transformer language models
• UCL eye-tracking
• UCL self-paced reading

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →