TACTICL

新的 TACTICL 框架压缩表格基础模型，保持适应性

研究人员开发了 TACTICL，一个旨在压缩用于表格数据任务的大型基础模型的新框架。该方法选择性地修剪 Transformer 层，并用为特定下游任务训练的轻量级适配器替换它们。在 47 个基准数据集上的实验表明，TACTICL 可以移除高达 85% 的层，而不会显著影响给定任务的性能，同时还能保持模型在上下文学习能力和对数据变化的鲁棒性。