SteerIF

DIAL方法为LLM指令遵循提供细粒度控制

研究人员引入了DIAL（Distilled Instruction-Adherence Levels），一种可控语言模型的新方法，它允许对模型遵循通用指令的紧密程度进行细粒度的数值控制。DIAL采用无分类器引导，并使用冻结的LLM进行训练信号，以及一个轻量级的控制适配器，该适配器使用隐藏状态上的分类器来计算控制编辑。这种方法旨在提供效率和可扩展性，支持新指令而无需进行每条指令的拟合，并提高指令遵循能力，特别是对于可验证的指令。