Mestre-Nagao Heuristic

Transformer 从椭圆曲线数据中学习解析数论启发式方法

研究人员训练了一个两层 Transformer 编码器，通过使用前 128 个归一化的 Frobenius 迹来根据秩对有理椭圆曲线进行分类，准确率超过 99%。通过机制可解释性技术，他们识别出一个包含 20 个 MLP 神经元的稀疏电路，足以进行预测，并实现了一个推拉检测器架构。值得注意的是，模型学习到的输入权重与 Mestre-Nagao 和启发式方法非常吻合，这表明它直接从数据中学习到了解析数论的一个结果。