研究人员证明了Transformer模型可以学会传递推理，即从A < B和B < C推断出A < C等关系的能力。当仅在隐藏顺序的相邻比较上进行训练时，这些模型会发展出一维表示，其中实体嵌入与其排名对齐。这种几何结构模仿了在动物行为中观察到的符号距离效应，即更远的比较更容易处理。这些发现通过将认知科学与神经网络表示联系起来，为传递推理提供了机械解释。 AI
影响 展示了神经网络如何复制传递推理等复杂认知能力，可能为未来AI发展提供信息。
排序理由 学术论文，详细介绍了模型能力的新发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →