spec learning

新方法在无需大量微调的情况下使大型语言模型与用户偏好保持一致 · 跟踪 3 个来源

研究人员开发了两种新颖的方法，可以在无需大量参数更新的情况下使大型语言模型（LLM）与用户偏好保持一致。一种方法称为“规范学习”（spec learning），它使用简短的用户指令和少量偏好判断来创建自然语言提示，在推理时指导 LLM。这种方法提供了人类可读的规范，并且在专业领域已显示出优于直接偏好优化（DPO）的性能。第二种方法是基于人类反馈的马尔可夫链（MCHF），它直接使用成对偏好来定义模型输出的转换机制，并快速收敛到平稳分布。…