Mohamad Amin Mohamadi

新的训练方法教会LLM在不确定时弃权

研究人员开发了一种名为强化犹豫（RH）的新训练方法，通过教会语言模型在不确定时放弃回答，使其更加值得信赖。与奖励任何回答的传统方法不同，RH使用三元奖励，对错误回答的惩罚比弃权更严重。在逻辑谜题、医学问题和高等数学问题上的实验表明，RH能有效训练模型校准其诚实度，不同的惩罚级别可以产生针对不同风险容忍度的优化模型。该研究还引入了级联和自级联等推理策略，利用弃权作为协调信号，以更低的计算成本优于多数投票。