zero-shot inference

New framework defines "any-task inference" for foundation models

研究人员提出了一个形式化框架，用于定义和构建能够进行“任何任务推理”（ATI）的基础模型，这是一种类似于零样本推理的能力。该框架将 ATI 模型在数学上定义为能够将数据样本和任务直接映射到预测，而无需进行特定任务的微调。拟议的将 ATI 模型分解为编码器、模型和解码器方面，允许将模型误差分解为理论设计项和已实现模型过剩项。该论文还提出了两种创建 ATI 基础模型的原型方法：生成式和判别式变体，并通过五个实际示例进行了说明。