RoleLLM

开发者创建AI伴侣应用基准测试以打击联盟营销垃圾信息

一位开发者创建了一个名为companion-bench的基准测试，用于评估AI伴侣应用程序，解决了这些应用缺乏客观测试的问题。与测试原始语言模型的基准测试不同，companion-bench评估的是完整的应用体验，包括记忆管道、角色提示和安全层。该基准测试使用标准化的脚本，包含特定的事实和探针，以测试回忆、一致性和无提示记忆，同时采用确定性的通过/失败标准和基于LLM的评判者进行主观评估。