demonstration-based TVs

新方法将大型语言模型任务向量分解为可解释的组件

研究人员开发了一种将“任务向量”（TVs）分解为可解释和可控组件的方法，打破了它们通常被视为整体方向的局限。这种新方法基于任务识别（TR）和任务学习（TL）原则，将每个TV分解为TR、TL和残差部分。通过贝叶斯优化，他们发现优化TR和TL系数比使用原始TV能更有效地进行干预，尤其是在基于指令的TV方面。这种分解提供了对TV如何运作的更清晰理解，并实现了对大型语言模型更精确的控制。