研究人员在大型语言模型中发现了一种称为“无效推理”的现象，即模型在超出其能力的任务上生成冗长、复杂但最终不正确的推导。这通常会导致听起来合理但错误的输出，从而误导用户。为了解决这个问题，开发了一种名为 CaRL（能力对齐强化学习）的新方法。CaRL 使用奖励塑造来鼓励模型拒绝不可能的任务，并使用事后拒绝增强来训练模型识别和拒绝无效推理，从而在不牺牲效用的情况下使模型行为与其实际能力保持一致。 AI
影响 这项研究可能带来更可靠的大型语言模型，避免在复杂任务上生成误导性信息。
排序理由 详细介绍大型语言模型训练新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
