LogicIF

新基准揭示大型语言模型难以处理复杂逻辑指令

一项新的研究论文介绍了一个名为 LogicIFGen 和 LogicIFEval 的框架和基准，旨在评估大型语言模型（LLMs）遵循复杂逻辑指令的能力。LogicIFGen 框架通过整合条件、循环和函数调用等复杂逻辑，自动化从代码函数生成可验证指令的过程。使用包含 426 条此类指令的 LogicIFEval 基准进行的实验表明，当前最先进的 LLMs 在这方面存在显著困难，正确遵循逻辑指令的比例不到 60%。这凸显了现有 LLMs …