研究人员已经证明,一个小型 Transformer 模型可以被训练成通用计算机。通过使用 PENCIL 支架进行高效执行,该 Transformer 模型学会了执行 MicroPy(一种简化的编程语言)中的程序。该模型在未见过的、人类编写的程序上表现出了泛化能力,包括 SAT 验证和求解等复杂任务,甚至在来自不同数据分布的程序上表现出了分布外泛化能力。 AI
影响 展示了 Transformer 执行任意计算的潜力,将其应用范围扩展到传统的 NLP 任务之外。
排序理由 详细介绍 Transformer 功能新研究发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →