PulseAugur
中
实时 02:04:31
English(EN) Configurable Reward Model for Balanced Safety Alignment

新的CSRM模型通过可配置方法增强LLM安全对齐

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种新的可配置安全奖励模型（CSRM），旨在帮助大型语言模型（LLMs）适应不断变化的 esafety 要求。该模型在安全合规性和奖励建模方面进行了联合优化，利用配置目标数据增强来提高指令遵循能力并保持相对严重性结构。CSRM 在 CoSApien 和 DynaBench 等基准测试中表现出最先进的性能，使 LLMs 能够更好地泛化到未见的 esafety 配置，并在无需额外人工标注的情况下实现改进的有用性-安全性权衡。 AI

影响 提高了 LLMs 对多样化和不断变化的 esafety 标准的适应性，可能带来更可靠的 AI 系统。

排序理由 该集群包含一篇详细介绍 LLM 安全对齐新模型的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Zhengping Jiang, Mehran Khodabandeh, Akash Bharadwaj, Manik Bhandari, Mayur Srungarapu, Anqi Liu, Benjamin Van Durme, Li Chen ·

    可配置奖励模型以实现平衡的安全对齐

    arXiv:2605.30487v1 Announce Type: new Abstract: Aligning large language models (LLMs) to heterogeneous and rapidly evolving safety requirements remains a critical challenge. Existing instruction-tuned LLMs and standalone safety classifiers often fail to generalize to new safety c…

相关实体

相关话题