ToneBank

新的ORBIT方法实现了语言模型的多属性引导

研究人员开发了ORBIT，一种新颖的无训练方法，用于同时引导语言模型的多个行为属性。与以往在组合属性或需要重新训练方面存在困难的方法不同，ORBIT使用奇异值分解创建引导平面的联合子空间，通过单一旋转来实现组合目标方向。该方法还包括自适应的每token门控和对弱属性的可选加性增强。ORBIT在新的基准测试TraitFactory和ToneBank上，在多个模型上进行了评估，与现有基线相比，展示了卓越的多属性引导能力和更好的输出连贯性。