Giacomo Salici

新方法可将AI任务更新跨不同模型架构进行传输

研究人员开发了一种名为Theseus的新方法，该方法允许在不同架构的大型预训练模型之间传输特定任务的更新，而无需额外训练。该技术侧重于更新对中间表示的函数效应，而不是直接匹配参数。Theseus使用正交Procrustes分析来对齐表示空间，从而为跨不同宽度的模型传输任务身份提供了一个稳定、封闭形式的解决方案，并在视觉和语言任务中成功进行了演示。