Martin Dočekal

新数据集挑战 LLM 生成全文“相关工作”

研究人员推出了 OARelatedWork，这是一个用于生成学术论文中“相关工作”部分的新数据集。该数据集的独特性在于它包含了被引用论文的全文，超越了仅基于摘要的总结。初步基准测试表明，即使是像 GPT-4o-mini 这样的先进 LLM 在处理海量全文上下文中的信息综合方面也面临困难，与仅基于摘要的生成相比，性能显著下降。该研究还分析了人类写作习惯，发现作者经常做出不直接由局部文本支持的抽象陈述，这导致 LLM 在严格的事实性方面优于人类。