FirmCORe

新的FirmCORe基准测试LLM在企业间协作推理能力

研究人员推出了一项新的基准FirmCORe，旨在评估大型语言模型（LLM）识别和推理公司之间协作机会的能力。该基准包含2,805个已标记的公司对，不仅评估潜在协作的检测，还评估其强度、类型和角色方向。使用各种LLM进行的初步实验表明，虽然模型可以以74.51%的宏F1分数检测到机会，但在识别具体的协作细节时，其性能会显著下降，在所有输出字段上的精确匹配率仅为61.57%。该基准还包括并行的中文和英文评估集，以分析语言敏感性。