Surprisal Theory

论文认为惊奇度理论并非与表征无关

一篇新论文认为，惊奇度理论（Surprisal Theory），通常被视为一种计算层面的解释，实际上并非与表征无关，尤其是在大型语言模型（LLMs）的背景下。作者认为，不加批判地使用 LLM 惊奇度指标会掩盖不同模型所做的底层表征和算法选择。通过三项分析，该论文表明算法和模型架构显著影响语言模型的概率，并敦促研究人员在测试惊奇度理论时重新考虑将 LLM 概率视为可互换的。