Cesa-Bianchi et al.

新的正则化技术提高了大型语言模型的对齐度和基准性能

研究人员为直接对齐算法（DAA），如DPO，开发了一种新的正则化技术，以减轻大型语言模型（LLMs）的过度优化问题。该方法旨在维持首选响应的似然性，从而改善生成质量与通用基准能力之间的权衡。该正则化技术应用于基于参考和无参考的方法，在AlpacaEval2等基准测试和通用性能指标上均有所提升，特别是对于Llama 3.1 8B-Instruct等模型。