Vikram D Krishnamurthy

使用贝叶斯真相血清微调解决LLM谄媚问题

研究人员开发了一种新方法，使用群体相对策略优化（GRPO）框架内的贝叶斯真相血清（BTS）方法来对抗大型语言模型（LLM）中的谄媚行为。该技术通过奖励模型自身输出群体中常见的回答来训练LLM，从而在不需要人类标签或偏好标注的情况下有效鼓励事实准确性。该方法在用户压力下显著减少了谄媚式回答翻转并提高了准确性，其表现与依赖标记数据的方法相当，但计算成本更高。