Transformer 从椭圆曲线数据中学习解析数论启发式方法

研究人员训练了一个两层 Transformer 编码器，通过使用前 128 个归一化的 Frobenius 迹来根据秩对有理椭圆曲线进行分类，准确率超过 99%。通过机制可解释性技术，他们识别出一个包含 20 个 MLP 神经元的稀疏电路，足以进行预测，并实现了一个推拉检测器架构。值得注意的是，模型学习到的输入权重与 Mestre-Nagao 和启发式方法非常吻合，这表明它直接从数据中学习到了解析数论的一个结果。 AI

影响 展示了 Transformer 学习复杂数学启发式方法的潜力，可能为人工智能在理论科学领域开辟新途径。

排序理由 该集群包含一篇学术论文，详细介绍了机器学习应用于数论的新研究成果。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• analytic number theory
• arXiv
• CLS attention
• Frobenius traces
• L(E,1)
• Mestre-Nagao Heuristic
• MLP neurons
• Pranav Venkata Konda
• transformers

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →