UCL eye-tracking

基于能量的Transformer在预测阅读难度方面显示出潜力

研究人员引入了一类新的Transformer模型，称为基于能量的Transformer，它们与联想记忆模型建立了正式联系。在计算心理语言学中，这种能量度量已被证明是跨多个语料库的阅读难度的有力预测因子。该研究表明，这一单一能量度量可能统一先前依赖于惊奇度（surprisal）和注意力熵（attention entropy）等多个互补预测因子的方法。