Leonard S. Pleiss

国际象棋研究揭示大型语言模型在泛化方面存在困难，而非记忆

一篇新发表在arXiv上的研究论文使用国际象棋来评估大型语言模型（LLMs）的泛化和记忆能力。研究发现，包括Claude Opus和Gemini在内的大型语言模型在需要泛化而非记忆的新颖国际象棋局面上表现不佳。当面对不熟悉的情境时，模型常常会退回到随机走子或做出非法走子，这表明它们无法可靠地应用游戏规则。尽管较新的模型有所改进，但在先验信息稀疏的任务上，进展显著放缓，这表明除了模型规模之外，系统性泛化能力存在局限性。