Gödel, Escher, Bach

新的GEB-Bench基准测试AI在多模态中识别抽象结构的能力

研究人员推出了GEB-Bench，这是一个新的基准测试，旨在评估AI模型在不同模态中识别抽象结构图案的能力。该基准测试受《哥德尔、埃舍尔、巴赫》启发，测试模型在自然场景、民间故事、数学定理和代码中识别结构的能力。对十二个专有和开源模型的评估显示，在单一模态中识别结构与跨不同声音转移理解之间存在持续的差距，只有前沿模型在跨模态映射方面取得了显著进展。