实体 TKFQA

TKFQA

PulseAugur coverage of TKFQA — every cluster mentioning TKFQA across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_193281 · Aug 11 · 04:00

新基准TKFQA揭示LLM在异构知识上的推理缺陷

一项新的研究论文介绍了一个名为TKFQA的基准测试，旨在评估大型语言模型（LLM）在异构知识源上进行推理时的事实一致性和顺序鲁棒性。该基准测试包含10,000多个基于表格、文本和知识图谱的问题解答对，专门用于测试多跳推理链和对输入顺序的敏感性。对14个LLM的评估揭示了当前模型在推理准确性和对输入变化的鲁棒性方面存在显著局限性。为解决此问题，该论文提出了ORLF，一个训练框架，增强了LLM保持知识特定偏差和编码拓扑语义的能力，从而提高…