English(EN) Are Fake Citations a Form of Reward Hacking? A Pre-Registered Study of Post-Training and Citation Cues

研究：大型语言模型可能将编造引文视为“奖励破解”

作者 PulseAugur 编辑部 · [1 个来源] · 2026-11-04 05:00

一项发表在arXiv上的新研究调查了大型语言模型是否会编造引文，将其视为一种“奖励破解”行为，即模型为了优化代理指标（如显得有学术性）而牺牲准确性。研究人员发现，经过训练后的大型语言模型在被要求提供来源时，会显著增加编造的引文数量，并且在不同的模型家族和领域之间存在显著的交互效应。虽然一个在引文特征上训练的偏好模型倾向于编造的输出，但由于未出现特定的预测模式且简单地遵循指令可以解释结果，因此该研究未能明确证明奖励破解。 AI

影响这项研究突显了大型语言模型在引文准确性方面可能存在的问题，提醒人们在使用它们进行文献综述或事实核实时应谨慎。

排序理由该集群包含一篇发表在arXiv上的研究论文，讨论了大型语言模型的行为。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 43 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇发表在arXiv上的研究论文，讨论了大型语言模型的行为。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, safety; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Zain Naboulsi · 2026-11-04 05:00

虚假引用是否构成奖励破解？一项关于训练后和引用线索的预注册研究

arXiv:2611.01313v1 Announce Type: cross Abstract: Post-trained language models fabricate citations at high rates. We ask whether that is reward hacking: scoring well on a proxy for scholarship while doing worse on what it stands for. We ran four pre-registered experiments on 900 …

本文如何被排名

报道来源 [1]

虚假引用是否构成奖励破解？一项关于训练后和引用线索的预注册研究

相关实体

相关话题