Safety Gymnasium
PulseAugur coverage of Safety Gymnasium — every cluster mentioning Safety Gymnasium across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
EpiFlow 通过平衡性能和安全性,推动了安全离线强化学习的发展
研究人员开发了 EpiFlow,这是一种新颖的离线强化学习方法,旨在平衡关键应用中的安全性和性能。与以往在更好结果上牺牲安全性或过于保守的方法不同,EpiFlow 使用基于具有硬状态约束的最优控制的公式。该方法学习一个图上可行性价值函数,并采用流匹配来提取策略,从而能够将安全保证与数据驱动的优化进行更原则性的整合。在船只导航和注重安全的 gym 任务等基准测试上的实证结果表明,EpiFlow 在最少的安全违规情况下实现了有竞争力的回报。
-
新研究提出使用 CVaR 来衡量强化学习中的尾部风险
一篇新的研究论文介绍了一种方法,通过检查情节成本的尾部,而不仅仅是平均值,来更好地评估强化学习策略的安全性。该研究提出使用条件在险价值 (CVaR) 来衡量最差 10% 的情节的成本,从而识别出那些平均来看可能安全但在极端情况下不安全的策略。这种方法旨在在最大化回报的同时控制这些尾部违规。
-
新算法为自主系统合成形式化验证的控制策略
研究人员开发了SMC-ES,一种将进化策略与统计模型检查相结合的新算法,可自动合成自主系统的控制策略。该方法对性能、安全性和鲁棒性提供形式化保证,确保遇到违规的概率低于指定阈值。SMC-ES在Gymnasium和Safety Gymnasium的连续控制任务上进行了评估,与领先的深度强化学习和Safe-DRL基线相比,表现具有竞争力,但计算成本有所增加。
-
新研究推动AI对齐和模仿学习中的样本效率
研究人员开发了新的方法来改进人工智能代理与人类价值观的对齐。一种方法是反馈操纵正则化(FMR),它利用评估反馈作为模仿学习中的纠正信号来增强策略对齐,在适应性安全体育馆环境中显著减少了不对齐现象。另一项研究为离策略对抗模仿学习(AIL)算法提供了理论保证,表明重用近期策略的样本可以在不影响收敛的情况下提高样本效率,为更具数据效率的AIL提供了理论基础。
-
新的强化学习方法增强大型语言模型训练的稳定性和效率 · 跟踪 7 个来源
研究人员开发了几种新方法来提高大型语言模型 (LLM) 中强化学习 (RL) 的稳定性和效率。STARE 通过根据惊奇度重新加权 token 级优势来解决策略熵崩溃问题,在推理基准测试中显示出更高的准确性。GrowthHacker 利用 LLM 代理自主优化离策略评估 (OPE) 代码,证明了改进 OPE 系统的可行性。ZPPO 将教师模型保留在提示中而不是策略梯度中,从而增强了小型学生模型的知识蒸馏。GD$^2$PO 通过过滤掉具有…
-
大型语言模型帮助在违规数据有限的情况下训练更安全的AI策略
研究人员开发了PROCO,一个新颖的离线安全强化学习框架,专为违规数据有限的场景设计。这种基于模型的方法集成了来自大型语言模型的自然语言知识来构建保守的成本函数,即使没有观察到不安全样本也能进行风险估计。PROCO然后使用此成本函数和学习到的动态模型来生成合成的反事实不安全数据,从而促进策略学习,提高安全性。