Prompt-only SV

新方法在不牺牲性能或推理能力的情况下增强了大型语言模型的控制能力

研究人员开发了新的方法，可以在推理时引导大型语言模型（LLM）的行为，而不会牺牲生成质量。一种方法是仅提示词转向向量（Prompt-only SV, PrOSV），它仅干预提示词标记，在AxBench等基准测试中表现优于传统的全序列转向向量。另一种方法是FLAS（基于流的激活转向），它学习一个条件概念的速度场来传输激活，在Gemma模型上始终优于提示词方法。第三种技术SKOP（通过关键正交投影进行转向）将注意力重新路由限制在保留推理和…