新框架改进了重尾奖励下的大语言模型对齐

一篇新的研究论文介绍了一个尾部感知的、信息论的框架，旨在改进大语言模型（LLMs）的对齐，特别是在涉及重尾奖励的情况下。该框架利用了移位对数 f_theta 散度和 Rényi 散度，为次威布尔（sub-Weibull）数据建立界限，这类数据可能比传统的次高斯或次指数分布具有更重的尾部。这种方法应用于人类反馈强化学习（RLHF），展示了 Rényi 正则化对齐如何缓解困扰标准 KL 正则化的奖励攻击（reward hacking）和古德哈特效应（Goodhart effects），从而提供更稳定的策略控制。 AI

影响 这项研究可能带来更强大、更安全的 LLM 对齐技术，从而减轻 RLHF 应用中奖励攻击等风险。

排序理由 该集群包含一篇详细介绍 LLM 对齐新理论框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

• Goodhart effects
• KL mutual information
• KL regularization
• Kullback-Leibler Divergence
• large language models
• reinforcement learning from human feedback
• Rényi Divergence
• Rényi mutual information
• Rényi-regularized RLHF
• shifted-log f_theta-divergence
• sub-Weibull
• sub-Weibull processes

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →