Psych-101

小型基础模型在 Psych-101 数据集上展现出惊人的泛化能力

研究人员开发了十四个基础模型，参数量从 1.35 亿到 140 亿不等，这些模型在 Psych-101 数据集上进行了训练，该数据集包含来自 160 项实验的 1070 万个试验级选择。研究发现，虽然模型规模对分布内性能影响甚微，但较大的模型在分布外的新任务结构上表现出更强的泛化能力。诊断测试显示，模型严重依赖任务指令、实验刺激和结果反馈，当这些通道被屏蔽时，性能会显著下降。