semantic scores

LLM在为神经符号推理生成准确世界模型方面存在困难

一篇新论文评估了五种大型语言模型（LLM）生成形式化世界模型的能力，特别是以部分可观察随机博弈的形式。研究发现，虽然大多数生成的模型在机械上是有效的，但它们的结构通常与人工编写的参考模型存在显著差异，这表明仅可执行性不足以在神经符号推理和规划中进行忠实表示。研究强调，即使是输入中的微小变化，例如命名一个国家，也可能改变生成的结构，而不会显著影响语义分数。