Will Schwarzer

新AI研究解决奖励推断和安全对齐问题

两篇新研究论文探讨了改进AI模型行为的高级技术。第一篇《监督奖励推断》（SRI）提出了一种从人类演示中学习奖励函数的方法，即使这些演示不是最优的。SRI在理论上保证了渐近贝叶斯最优性，并在机器人任务上取得了高性能。第二篇论文介绍了“拉格朗日奖励增强”（LARA），这是一个在推理时根据安全约束对齐语言模型的框架。LARA使用对偶优化问题来创建增强的奖励信号，该信号可以集成到现有的对齐方法中，从而改善有用性-无害性权衡。