IBBench-Light

新的基准IBBench-Light评估LLM对外部指令的响应

开发了一个名为IBBench-Light的新基准，用于评估语言模型对外部指令的响应能力，特别是当这些指令涉及应用过程或从外部记录中读取文本时。该基准使用十二个语义基础为每个模型创建144个配对响应，重点关注配对精确契约准确性（PECA），该准确性要求响应对的两个部分都满足其指定条件。初步测试表明，Qwen等模型表现不一致，平均性能与完全配对成功率之间存在显著差异。该研究还强调了技术配置（如序列结束标记集）对模型性能的影响。