BILAL-BENCH

新基准揭示开放语言模型广泛捏造伊斯兰经文

一项名为BILAL-BENCH的新基准已被开发出来，用于评估开源语言模型捏造伊斯兰经文的能力，特别是在孟加拉语中。该基准包含240个涵盖《古兰经》经文、圣训和伊斯兰教法的问题，并经过专家验证。在对七种不同开放权重模型的1680个响应进行测试时，其中六种模型对79.3%至95.3%的问题自信地捏造了伊斯兰来源，模型大小没有带来明显改善。圣训出处被确定为所有评估模型的一个特别薄弱环节。