Muhammad Faraz Shoaib

新的LOGIC基准测试用于评估大语言模型在航空航天电气系统设计变更中的能力

研究人员推出了一款名为LOGIC的新基准测试，旨在评估大语言模型（LLMs）在航空航天领域的表现。该基准测试侧重于LLMs在区分真实修改和已授权修改方面，准确识别和传播电气系统设计中仅意图驱动的变更的能力。LOGIC包含168个场景，用于测试LLMs在传播变更前，将其请求与变更清单进行关联的能力，从而区分选择错误和传播错误。