AI风险规避可跨越巨大利益进行泛化，但尚不可靠

研究人员开发了一个新的基准测试RiskAverseOOD，用于测试语言模型如何将风险规避从低风险情景泛化到高风险情景。使用Qwen3、Gemma-3和Llama-3等模型进行各种方法的实验表明，在低风险下学到的风险规避可以在巨大的风险差异中部分泛化。虽然当前模型表现出改进的风险规避行为，但它们尚未达到足够一致的可靠性，不足以作为防止潜在AI错位的安全措施。 AI

影响 通过测试风险规避的泛化能力来研究AI的潜在安全机制，这对于减轻错位风险至关重要。

排序理由 学术论文，介绍了一个新的基准测试和实验结果。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• Direct Preference Optimization
• Gemma-3
• Gemma-3-12B-IT
• Llama-3
• Llama-3.1-8B-Instruct
• Qwen3
• Qwen3 14B
• Qwen3 1.7B
• Qwen3_8B
• RiskAverseOOD
• supervised fine-tuning

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →