Constitutional AI (CAI) 提供了一种新颖的方法来对齐大型语言模型 (LLM)，它使用一套预定义的原则或“宪法”，而不是仅仅依赖人类反馈。该方法包括两个阶段：监督微调 (SFT)，模型在此阶段根据宪法学习批判和修改自己的输出来，以及来自 AI 反馈的强化学习 (RLAIF)，模型在此阶段无需人工干预即可生成偏好数据。CAI 旨在通过使模型能够根据道德准则进行自我纠正，从而提高 LLM 对齐的效率、透明度和安全性，尤其是在医疗保健和客户服务等敏感应用中。 AI
影响 这种方法为 LLM 与道德准则的对齐提供了一种更具可扩展性和透明度的方法，有可能提高 AI 安全性和可解释性。
排序理由 该项目详细介绍了一种特定的 AI 对齐技术 Constitutional AI，并解释了其原则和方法论。[lever_c_demoted from research: ic=1 ai=1.0]
- Constitutional AI
- PixelBank
- reinforcement learning from AI feedback
- reinforcement learning from human feedback
- supervised fine-tuning
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
