一篇新研究论文介绍了一种名为“风险敏感对齐通过支配”（Risk-sensitive Alignment via Dominance, RAD）的新颖框架，用于改进通过人类反馈强化学习（RLHF）训练的AI模型的安全性。与依赖期望成本约束的传统方法不同，RAD利用随机支配来比较整个成本分布，从而更好地控制尾部风险和潜在的灾难性事件。所提出的方法集成了最优传输和Sinkhorn迭代以实现高效的端到端优化，并引入了分位数加权FSD约束来普遍控制一类广泛的光谱风险度量，从而能够精细调整模型的风险概况。实证结果表明，RAD在保持有用性的同时增强了无害性，并在分布外评估中显示出改进的鲁棒性。 AI
影响 引入了一种控制AI模型尾部风险的新颖方法，有望在关键应用中实现更鲁棒、更安全的AI系统。
排序理由 该集群包含一篇详细介绍新AI安全方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Optimal Transport
- reinforcement learning from human feedback
- Risk-sensitive Alignment via Dominance
- stochastic dominance
- Yaswanth Chittepu
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
