ReDocRED

研究论文分析了LLM知识图谱审计的置信度估计

一篇新研究论文探讨了置信度估计在指导人工审查LLM生成的知识图谱方面的有效性。该研究将非自适应审计建模为一个有预算的覆盖问题，确定了关键统计数据并为规划设定了遗憾界限。在Re-DocRED基准上，针对各种提取配置和跨文档图的实验表明，错误率乘以扇出队列策略比联合模型留下了更多错误。然而，通用LLM验证在几种配置中显示出改进，LLM裁决有助于识别潜在的基准遗漏。