Kohei Kajikawa

研究发现：大型语言模型的上下文窗口大小影响句子理解

研究人员通过考察上下文窗口大小和指代消解对大型语言模型（LLMs）如GPT-2模拟人类句子理解的影响，进行了相关探索。研究结果表明存在一种U形关系，其中模拟工作记忆的受限上下文和长达1000个标记的扩展上下文都显示出高度的心理语言学契合度。通过代词化实体来破坏长距离指代关系，会显著降低较大上下文窗口的预测能力，这表明跟踪这些关系对于使大型语言模型的意外度与人类阅读行为保持一致至关重要。