S1CogBench

新基准S1CogBench评估System One决策模型在认知任务上的表现

一项新的基准测试S1CogBench已被开发出来，用于评估System One决策模型（如Jev和Laya）在认知任务上的决策能力。与传统的语言模型不同，这些系统能够提供快速、可检查的决策，而无需生成文本。该基准测试评估了这些模型在24项认知实验中对证据、反馈、记忆负荷和未来机会的响应可靠性。初步研究结果表明，模型的可靠性存在显著差异，在认知任务上的表现不一定与人类预测相关，并且速度的提升往往是通过不生成输出来实现的。