Metanym Game

新的Metanym Game基准测试评估LLM的结构智能

研究人员推出了一种新颖的基准测试Metanym Game，旨在评估大型语言模型（LLM）的结构智能。该游戏作为一个自包含、自一致的系统运行，LLM通过创建和评价彼此的词语类比来进行竞争。提出了一种使用奇异值分解的独特谱解法，用于同时评估LLM的事实准确性和判断能力，而无需依赖预定义的数据集。该基准测试的设计旨在抵抗训练数据污染，并且其代码和数据是公开可用的。