CTIForge

可复现性审计揭示威胁报告知识图谱提取不一致性

一项新的研究论文检查了威胁报告知识图谱提取的可复现性，强调了系统如何将预测的三元组与黄金标注进行匹配方面存在不一致性。研究发现，声明的匹配规则只能在检查系统的一小部分中重新实现，并且在不同协议下重新评分输出会改变成对排序。一个LLM裁判在与人类裁决的一致性方面高于机械匹配器，并且开发了一个名为CTIForge的新管道来隔离组件效应，揭示了验证层根据骨干网是托管还是离线，对精度的影响不同。