LambdaMix

LambdaMix 可实现适应不同用户偏好的可调语言模型策略

研究人员推出了一种新颖的参数高效方法 LambdaMix，用于训练一系列语言模型策略，这些策略可以适应不断变化的用户偏好。该方法联合训练不同目标的低秩适配器，允许在推理时调整偏好，而无需进一步优化。在涉及有用性、无害性、数学问题解决和属性约简的任务上进行的实验表明，LambdaMix 的性能优于现有方法，实现了更高的超体积并需要更少的训练资源。