Baba

2024年论文揭示SOTA LLM在规则操纵谜题上表现不佳

2024年发表在ICML会议上的一篇论文指出，包括GPT-4o和Gemini-1.5模型在内的最先进多模态大型语言模型，在泛化需要操纵和组合游戏规则时表现糟糕。该论文由麻省理工学院的研究人员和弗吉尼亚理工大学的一名个人撰写，提出了这些“钥匙门谜题”作为高级AI评估的潜在基准。Reddit帖子的作者质疑了这些谜题的当前状态及其对未来万亿参数Agentic Swarm的影响。