Linguistic reward hacking

Survey maps rubric-guided RL for better LLM alignment

一篇新的调查论文介绍了一个用于基于评分卡的强化学习（RL）的框架，以改进大型语言模型（LLMs）的对齐。该方法使用结构化、可解释的评分卡，而不是简单的标量奖励来指导LLM的行为。该论文沿着先验-后验轴对现有方法进行了分类，包括宪法AI和实例特定的评分卡，并讨论了影响对齐可靠性的语言奖励攻击和语义漂移等挑战。