sycophancy-flip

新工具evalmut通过故意损坏的模型测试LLM评估套件

一个名为evalmut的新工具被开发出来，通过引入变异测试来解决LLM评估套件的局限性。该工具包含一个由六个确定性模型组成的“参考舰队”，每个模型都以特定、有据可查的方式故意损坏。这种方法旨在提供一种更严格、可验证的测试LLM评估套件的方法，类似于计量学中使用的认证参考物质。初步测试表明，基本的评估套件会遗漏相当一部分缺陷类别，这凸显了对更健壮的测试方法的需求。