实体
Pranav Venkata Konda
Pranav Venkata Konda
PulseAugur coverage of Pranav Venkata Konda — every cluster mentioning Pranav Venkata Konda across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新研究论文探讨深度归一化注意力机制的可识别性
研究人员发表了一篇论文，详细介绍了神经网络中深度归一化注意力机制的可识别性和可观测性。该研究侧重于确定深度、未掩码、单头注意力机制的哪些参数由其输入-输出函数决定。对于特定类型的归一化器，该函数可以确定有效的得分和组合值映射，但存在一些例外情况，即由于塌缩，后续得分变得不可观测。
-
Transformer 从椭圆曲线数据中学习解析数论启发式方法
研究人员训练了一个两层 Transformer 编码器，通过使用前 128 个归一化的 Frobenius 迹来根据秩对有理椭圆曲线进行分类，准确率超过 99%。通过机制可解释性技术，他们识别出一个包含 20 个 MLP 神经元的稀疏电路，足以进行预测，并实现了一个推拉检测器架构。值得注意的是，模型学习到的输入权重与 Mestre-Nagao 和启发式方法非常吻合，这表明它直接从数据中学习到了解析数论的一个结果。