Takahiro Sagawa

通过句子反转和熵产生评估大型语言模型因果理解能力

研究人员探索了一种新颖的方法来评估大型语言模型（LLM）对事件顺序和因果关系的理解，方法是颠倒文本中的句子顺序。这种方法受到随机热力学的启发，通过比较正向和反向序列的似然性来量化不可逆性，这一指标被称为熵产生。使用 GPT-2 和 Qwen3-4B-Base 进行的实验表明，模型生成的顺序事件的概率反映了它们的顺序，为量化探测其内部“世界模型”提供了一种方法，而无需直接测量物理热量输出。