FMG-Bench

新基准测试评估人工智能的神学和牧养指导能力

研究人员开发了信仰与道德指导基准测试（FMG-Bench），这是一个旨在评估大型语言模型（LLMs）在处理神学和牧养关怀问题方面的能力的新评估工具。该基准测试包含120个场景，评估了14个模型近9000条回应，重点关注基督教背景。结果显示，结构化指导显著提高了LLM的表现，尤其是在识别何时将问题升级给人类或专业支持方面，平均提高了3.96分，在升级适当性方面显著提高了10.8分。