研究人员推出了一种名为ECLIPTICA的新型框架,该框架能够实现大型语言模型动态的、由指令驱动的对齐。与传统的在训练后冻结对齐的方法不同,ECLIPTICA通过解释自然语言对齐指令,允许在运行时控制模型行为,例如立场、拒绝边界和冗长程度。这种方法得益于CITA(对比指令微调对齐),它结合了监督微调和对比偏好优化,确保了稳定且可穿越的对齐机制。在Llama-3.1-8B上的评估中,CITA在ECLIPTICA基准测试中展现了86.7%的指令-对齐效率,显著优于DPO、GRPO和PPO等方法。 AI
影响 实现了对LLM行为更灵活、更动态的控制,有望提高在实际应用中的安全性和适应性。
排序理由 该集群包含一篇详细介绍LLM对齐新框架和方法的 ist 研究论文。
- Conditional safety margins for less conservative peak local SAR assessment: A probabilistic approach
- Direct Preference Optimization
- ECLIPTICA
- Grpo
- Length control of the metaphase spindle
- LITMUS
- Llama-3.1:8b
- Proximal Policy Optimization
- supervised fine-tuning
- TruthfulQA
- Vinija Jain
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →