实体
Surprisal Theory
Surprisal Theory
PulseAugur coverage of Surprisal Theory — every cluster mentioning Surprisal Theory across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
语言学中的意外性理论被认为缺乏理性基础的同义反复
一篇新论文认为，意外性理论（该理论认为人类处理语言的难度与其在语言模型中的意外性直接相关）是一种同义反复。作者认为，在没有额外约束的情况下，任何难度度量都可以拟合到某个语言模型，从而使该理论无法被证伪。这种歧义曾被语料库生成的模型可以预测人类行为的假设所掩盖，但最近的发现表明，改进的语料库模型会降低处理难度的预测准确性，这挑战了这种假设。该论文建议，为了使意外性理论可证伪，相关的语言模型必须来自对理解者的非经验性考量，例如记忆或处理目…
-
论文认为惊奇度理论并非与表征无关
一篇新论文认为，惊奇度理论（Surprisal Theory），通常被视为一种计算层面的解释，实际上并非与表征无关，尤其是在大型语言模型（LLMs）的背景下。作者认为，不加批判地使用 LLM 惊奇度指标会掩盖不同模型所做的底层表征和算法选择。通过三项分析，该论文表明算法和模型架构显著影响语言模型的概率，并敦促研究人员在测试惊奇度理论时重新考虑将 LLM 概率视为可互换的。