Siqi Zeng

新框架压缩任务向量，实现可扩展的AI知识迁移

研究人员推出了一种名为Task Vector Bases的新型框架，旨在压缩任务算术中使用的任务向量的大型集合。该方法通过将任务向量表示为一组较小的基向量的线性组合，从而降低了存储和计算需求。该框架理论上保证了加法泛化的保持，并实现了有原则的遗忘，其误差界与重建质量相关。实证结果表明，所提出的基构造方法优于启发式基线，并且在各种应用中甚至可以媲美完整任务向量集的性能，同时提供显著的效率提升。