Universal Task Descriptors

Platonic Task Arithmetic enables cross-model knowledge transfer

研究人员引入了一个受柏拉图洞穴寓言启发的、名为Platonic Task Arithmetic的新概念。该框架提出，相似任务的模型特定更新是共享的、与模型无关的“platonic task vector”的反映。为了实现这一点，他们开发了Universal Task Descriptors，这是一种独立于架构的矩阵，可以捕获任务的功能效应并支持算术运算。通过编辑目标模型的权重，可以将其转移到目标模型，从而实现不同模型架构之间的知识转移和组合。