Gunpei Yokoi

在文本MUD中评估LLM以测试行为适应性

研究人员开发了CrucibleBench，一种通过将大型语言模型（LLM）置于文本多人地下城（MUD）环境中来评估LLM的新颖方法。该方法利用了MUD固有的限制，例如有限的动作、非玩家角色（NPC）的明确社交反馈以及持久的世界状态，以衡量LLM在需要信任、信息收集和适应性的场景中的行为。研究发现，使用LLM作为评判者进行评估会显著改变模型的排名，这凸显了此类方法的不稳定性，并表明在报告评判者剔除下的协议和稳定性方面需要更大的透明度。