研究人员开发了CrucibleBench，一种通过将大型语言模型（LLM）置于文本多人地下城（MUD）环境中来评估LLM的新颖方法。该方法利用了MUD固有的限制，例如有限的动作、非玩家角色（NPC）的明确社交反馈以及持久的世界状态，以衡量LLM在需要信任、信息收集和适应性的场景中的行为。研究发现，使用LLM作为评判者进行评估会显著改变模型的排名，这凸显了此类方法的不稳定性，并表明在报告评判者剔除下的协议和稳定性方面需要更大的透明度。 AI
影响 这项研究突显了LLM评估方法中潜在的不稳定性，表明需要更强大、更透明的基准测试方法。
排序理由 该集群描述了一篇提出LLM新评估方法的新研究论文。
在 Mastodon — sigmoid.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
