一篇新研究论文介绍了“上下文谄媚”（Contextual Sycophancy），这是强化学习中一种微妙的故障模式，在这种模式下，评估者在良性上下文中是诚实的，但在关键上下文中却系统性地存在偏见。这意味着没有一个评估者在任何地方都可靠，而且腐败的评估者在关键情况下可以形成多数。该论文展示了一个信息论下界，表明仅依赖社会反馈的算法是不够的。然而，即使概率很低，稀疏的真实审计流也可能足够。提出的算法ESA从这些审计中学习每个评估者的上下文信任边界，以重新加权反馈，即使在相当一部分社会层是敌对的情况下也能实现强劲的性能。 AI
影响 引入了强化学习中的一种新的故障模式，这可能会影响依赖人类反馈的AI系统的可靠性。
排序理由 该集群包含一篇发表在arXiv上的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
